Databricks非常高兴地宣布Databricks用于机器学习的运行时，包括随时可用的机器学习框架、简化的分布式培训和GPU支持。注册参加我们即将举行的网络研讨会以了解更多信息。如今，数据科学家和机器学习从业者比以往任何时候都有机会通过为推荐引擎、广告定位、语音识别、对象识别、机器人程序、情感分析、预测分析等实施复杂的模型来实现业务转型。然而，从业人员在实施此类应用程序时面临多重挑战：环境配置：由于有大量的机器学习框架，能够设置和维护复杂的环境。分布式训练：以分布式方式训练模型以更快地获得结果的能力。这需要专门的技能和复杂的代码来管理。计算能力：能够在gpu上运行并行化的工作负载以获得最大的性能。这对于深度学习应用程序至关重要。在这篇博文中，我们将介绍Databricks如何帮助克服这些挑战。为机器学习引入Databricks运行时预先配置的机器学习框架，包括XGBoost、scikit learn、TensorFlow、Keras、Horovod等。根据客户的需求，我们很高兴地宣布，作为ML Databricks Runtime for ML的一部分，新的本地和深度集成了流行的机器学习框架。新的运行时具有XGBoost、scikit learn和numpy以及流行的深度学习框架，如TensorFlow、Keras、Horovod及其依赖项。针对ML的Databricks运行时是启动Databricks集群的一种方便方法，该集群包含了TensorFlow上分布式深度学习培训所需的许多库。此外，与使用init脚本相比，它还确保了所包含库的兼容性（例如，TensorFlow和CUDA/cuDNN之间的兼容性），并大大缩短了集群的启动时间。创建集群时，从下拉列表中选择Databricks运行时ML版本。简化了Horovod、TensorFlow和Apache Spark的分布式培训此外，我们很高兴介绍旨在简化分布式深度学习的HorovodEstimator。最初由Uber引入的Horovod框架是一个流行的针对Tensorflow、Keras和PyTorch的分布式培训框架。HorovodEstimator是一个MLlib风格的估计器API，它利用Horovod并促进Spark数据帧上深层神经网络的分布式、多GPU训练。它极大地简化了Spark中ETL与TensorFlow中模型训练的集成，简化了从数据摄取到模型训练的端到端工作流。下载此笔记本立即开始。支持GPU的最大计算能力如果没有在GPU加速的硬件上运行分布式计算的能力，所有这些都将产生有限的影响。对于这些高要求的工作负载，我们还将Databricks支持的集群扩展到Microsoft Azure GPU NC、NCv3和AWS P3 GPU系列。更详细的定价信息可用于Azure数据库以及AWS上的数据库。下一步行动凭借内置的机器学习框架和Databricks运行时的卓越性能，再加上基于GPU的并行计算能力，Databricks统一分析平台独特地满足了最先进的深度学习用例的需求，这些用例在计算上具有挑战性。从今天开始Databricks.com网站请注册参加我们的独家网络研讨会，ApacheSpark和Databricks上可伸缩的端到端深度学习，在太平洋标准时间6月27日上午10点，与Databricks的软件开发工程师Sue Ann Hong和Siddharth Murching一起进行更深入的探索和现场演示。我们期待着在那里见到你！免费试用Databricks。今天就开始吧