我们很高兴地宣布用于机器学习的Databricks Runtime 5.2的发布。此版本包括几个新特性和性能改进，以帮助开发人员在Databricks统一分析平台上轻松使用机器学习。我们继续努力使开发人员的生活更轻松地构建深度学习应用程序，此版本包括以下功能和改进：HorovodRunner为多GPU机器提供了简化的工作流，并支持返回值。GraphFrames引入了一个类似Pregel的API，用于使用DataFrame操作进行批量同步消息传递，并对Databricks进行了性能优化。集群现在开始更快。使用HorovodRunner进行分布式训练在Databricks Runtime 5.0 ML中，我们引入了HorovodRunner，一个用于分布式深度学习培训的新API。在这个版本中，我们将介绍两个新特性。首先，HorovodRunner为使用每个节点都有多个gpu提供了内置支持。在一个GPU集群上，每个Horovod进程映射到集群上的一个GPU，这些进程作为组放在计算节点上。例如，如果在每个节点上有4个GPU的GPU集群上运行np=7个进程的作业，则第一个节点上有4个进程，第二个节点上有3个进程。这简化了作业设置，同时降低了任务间通信成本。其次是HorovodRunner.run（）调用可以从MPI进程0返回值。这使得数据科学家更容易获取有用的结果，例如训练指标或训练模型，如下面的代码片段所示。def系列（）："""对每个Horovod工作人员运行培训的方法"""模型=获取模型（）型号.列车()#新：我们使用返回值作为评估指标。评估结果=模型.评估(...)返回评估结果hr=HorovodRunner（np=8）评估结果=人力资源运行（列车）打印（评估_结果。公制平均值)打印（评估_结果：公制标准)要了解如何在Databricks Runtime 5.2ml上运行分布式深度学习培训，请参阅azuredatabricks和AWS上的文档。图形框架中的Pregel APIGraphFrames是建立在apachespark数据帧之上的开源图形处理库。在最新版本中，GraphFrames公开了pregelapi，这是一个用于实现迭代图算法的批量同步消息传递API。例如，下面的代码片段运行PageRank。val等级=图.pregel。使用VertexColumn（"rank"，亮起（1.0/numVertices），凝聚(普雷格尔.msg，lit（0.0））*（1.0-α）+α/数量.sendMsgToDst(普雷杰尔src（"等级"）/普雷杰尔src（"outDegree"））.aggMsgs（总和(普雷格尔.msg))。运行（）有关更多详细信息，请查看scalaapi和pythonapi。在Databricks运行时5.2ml上，我们进一步将Pregel从开源图形框架实现的速度提高了10倍。性能改进在Databricks运行时5.1ml Beta中包含PyTorch可以增加集群的启动时间。在这个版本中，我们删除了一些重复的库，这些库使启动时间缩短了25%。其他程序包更新我们更新了以下软件包：Horovod 0.15.0至0.15.2张力板1.12.0至1.12.2阅读更多阅读更多关于Databricks Runtime 5.2ml Beta for Azure Databricks和AWS的信息。在Databricks运行时5.2ml Beta版上，尝试为azuredatabricks和AWS提供分布式深入学习培训的示例笔记本。免费试用Databricks。今天就开始吧