由于全球对数据科学人才的需求大大超过了供给，如今，数千个数据科学职位空缺。每天，企业都要为数据科学家的短缺付出代价，因为他们错过了机会，创新缓慢。为了让组织充分发挥机器学习的潜力，数据团队每年必须建立数百个预测模型。对于大多数企业来说，由于数据科学团队人手不足，这一数字实际上只实现了一小部分。Databricks可以通过自动化数据科学工作流程的各个步骤（包括功能工程、超参数优化、模型搜索和部署）来帮助数据科学团队提高工作效率，从而获得完全受控和透明的增强ML体验。这远远超出了通常称为AutoML的自动模型搜索。今天的博客总结了Unified Analytics平台上提供的新功能和现有功能，这些功能支持所有级别的专业技能，特别是：AutoML工具包：自动化端到端机器学习管道，包括功能工程、模型搜索和部署，可通过Databricks Labs为公民和专家数据科学家提供定制解决方案。在MLflow中自动跟踪AutoML工具箱的执行。ML Databricks Runtime for ML中的HyperOpt、MLlib和MLflow集成：希望实现超参数优化或模型搜索自动化的数据科学家现在可以受益于作为ML Databricks运行时一部分的HyperOpt、MLlib和MLflow之间的深度集成。此集成可简化分布式条件超参数优化，自动跟踪，增强可视化。定制AutoML解决方案：Databricks的统一分析平台为数据工程师和数据科学家提供了在一个地方运行所有分析过程的能力，从ETL到模型构建和推理。与最流行的开放源代码库的深度集成和优化为专家数据科学家和ML工程师提供了运行端到端ML管道所需的灵活性和控制能力，并在数据块上使用生产作业自动选择步骤。与Azure机器学习的集成：基于Databricks和微软4月份宣布的开源MLflow协作，此集成允许客户访问Azure Machine Learning提供的自动机器学习功能。请参阅本文了解更多信息。从功能工厂到使用AutoML工具箱进行部署Databricks Labs是一个由该领域的工程师创建的项目集合，用于解决我们与客户反复遇到的问题。使用AutoML工具箱，目标是自动化ML管道的构建，从特征转换到超参数调整、模型搜索，最后是推理，同时仍然在过程中提供细粒度控制。此Databricks实验室项目是一个实验性的端到端监督学习解决方案，用于自动化：功能清理特征向量化选型与培训超参数优化选择批量预测记录模型结果和训练运行（使用MLflow）这个解决方案可以在没有代码的情况下实现，也可以由专家在他们认为合适的情况下进行微调。用Hyperopt和MLflow在ML数据库运行时简化分布式超参数调整和模型搜索希望加快工作流的数据科学家还可以从Databricks Runtime for ML中Hyperopt、MLlib和MLflow之间的更深入集成中获益，以优化和分布式超参数和模型搜索。自动模型搜索：优化和分布式条件超参数搜索，增强的超选择和自动跟踪MLflow。自动超参数调整：优化和分布式超参数搜索，增强超选择和自动跟踪MLflow。与PySpark MLlib的交叉验证的深度集成允许自动跟踪MLflow中的MLlib实验。例如，请参见如何通过增强的Hyperopt和MLflow集成，在Databricks上按比例跟踪超参数调整的结果：以下是一些附加资源，可以了解更多信息：使用MLflow、Apache Spark MLlib和Hyperopt Blog进行超参数调整自动超参数调整，缩放和跟踪：按需网络研讨会和常见问题解答现已提供！超参数调整文档分布式Hyperopt+自动MLflow跟踪笔记本MLlib+自动MLflow跟踪笔记本为定制AutoML解决方案提供充分的灵活性和性能更高级的用户还能够在数据块上运行所有AutoML步骤，从ETL到模型训练和推理，通过利用统一分析平台的可扩展性和内置优化，以及流行的开源库。针对ML的Databricks Runtime还为最流行的开源ML框架（例如TensorFlow、Keras、Pythorch、XGBoost、scikit learn等）提供了一个可靠和安全的发行版，提供了现成的优化和与Horovod的集成，用于分布式深度学习以及用于内置实验和可视化跟踪的MLflow用于超参数调节。以下是进一步深入研究的其他资源：基于MLflow的深度学习高级超参数优化MLflow与H20.ai GPyOpt、HyperOpt集成观看Zynga使用Pandas udf实现预测建模的自动化，这是一个在Databricks上运行的基于定制的解决方案的示例。下一步访问databricks.com/autoML了解更多并开始免费试用Databricks。免费试用Databricks。今天就开始吧