这篇博文是Databricks的解决方案架构师carylyuhas和Datadog的技术社区和布道负责人ilanrabinovitch的共同努力。更新日期：2018年6月12日监控任何大型apachespark集群的运行状况是工程师们必不可少的。它们希望看到集群的内部结构；它们需要来自各个节点的CPU、磁盘使用情况的系统指标，以及每个活动阶段或缓存分区的Spark指标。Datadog作为一个基于SaaS的监控和分析平台，为工程师提供了他们想要的所有监控功能。在这个博客中，我们将展示使用Datadog监视系统和从Databricks的Spark集群获取Spark指标是多么容易。我们将通过两种方法在Databricks中设置Datadog监控：自动化数据狗监控：[Import Notebook]一种一键式的方式，可以自动监控所有Databricks节点和集群的数据狗。只需一个命令，就可以配置Databricks来启动Datadog代理，并在每次启动集群时将系统和Spark指标流式传输到Datadog仪表板。Datadog安装演练：[Import Notebook]在现有Databricks集群上安装Datadog代理以开始收集Spark特定指标的逐步过程。如果您想在自己的一个集群上测试此集成，可以跟踪并导入笔记本。自动数据狗监控如果您正在寻找一种方法来尽快设置对databrick集群的监视，那么我们的Datadog Init脚本是一个很好的选择。当您导入并运行上面的第一个笔记本时，它将创建一个init脚本，该脚本将在您在Databricks中启动的每台计算机上自动安装Datadog代理，以及一个init脚本，用于配置每个集群以发送Spark指标。要使用此脚本，只需执行以下操作：在DD_API_key参数（第4行）中输入您自己的Datadog API密钥。运行一次笔记本以将init脚本保存为全局配置。就这些了！运行笔记本后，每个新集群将开始直接将指标流式传输到Datadog中的仪表板。init脚本到底在做什么？第一个剧本，数据安装.sh，只需根据Datadog安装说明在集群中的每台计算机上创建一个代理（请参阅下面的Datadog安装演练部分中的步骤1）。第二个脚本配置集群，将Spark特定的度量报告回Datadog。有关此配置的更多详细信息，请阅读下一节。数据狗安装演练现在让我们一步一步地完成设置。你可以在这本笔记本上跟读。这可用于在现有集群上设置Datadog代理。单线安装。Datadog使在您的系统上安装代理变得非常简单，确切地说是一行curl命令。在本例中，我们将使用Ubuntu包安装：%sh DD_API_KEY=[在此处输入_YOUR_API_KEY_]bash-c"$（curl-Lhttps://raw.githubusercontent.com/DataDog/DataDog-agent/master/cmd/agent/install_script.sh)"您可以在Datadog安装指南中找到此命令的最新版本。注意：请确保检查Datadog站点中的最新安装命令，并使用帐户中指定的API密钥。为Spark配置。为了开始监视集群上的Spark指标，必须在集群的驱动程序中写入Spark配置文件。这个配置文件需要驱动程序的主机名和端口，以便Datadog代理可以指向它并侦听Spark度量。主机名和端口可以在主参数文件中找到，如下所示：%sh cat/tmp/主参数10.0.177.85 44752这些将被输入到配置的spark_url参数中，如下所示：%s echo"初始化配置：实例：-resourcemanager_uri:：44752个spark_群集模式：spark_独立模式集群名称：10.0.177.85">/etc/datadog-agent/conf.d/spark.yaml公司重新启动代理。更新此配置文件后，只需重新启动代理即可完成Spark集成。%sh sudo服务datadog代理重新启动检查连接。通过调用Datadog info命令并查找以下火花检查，可以确认连接成功：%sh sudo datadog代理状态火花（5.12.1:1.0.0）---------------------实例#0[确定]-收集了25个指标，0个事件和2个服务检查结论虽然这篇文章为Datadog提供了详细的教程和设置脚本，Databricks还为用户提供了从其他服务连接到集群和机器的灵活性。特别是，init脚本允许您在驱动程序和工作线程上执行shell脚本。一般来说，可以对上面文章中的init脚本进行调整和定制，以安装和连接您选择的监视代理。今天就试试Datadog和Databricks上的笔记本吧。免费试用Databricks。今天就开始吧