自从我们推出MLflow（一个管理机器学习生命周期的开源平台）到现在已经有六个月了，从那时起，这个项目进展很快。MLflow扮演了一个迄今为止在开源社区中没有得到很好服务的角色：管理ML的开发生命周期，包括跟踪实验和度量、构建可复制的生产管道以及部署ML应用程序。尽管许多公司为这些任务构建了定制的内部平台，但在MLflow之前还没有开源ML平台，我们发现社区很高兴能构建一个：自去年6月以来，来自30多个不同公司的66名开发人员为MLflow做出了贡献。从开源和Databricks用户到目前为止的反馈来看，我们已经为MLflow在2019年制定了几个目标，包括稳定mlflow1.0中的API和改进现有组件。然而，我们总是非常渴望听到更多的用户输入，所以我们从今年开始第一次MLflow用户调查。如果您尝试过MLflow或考虑过您希望在ML开发平台中使用什么，我们很乐意听到您的反馈。为了表示我们的感谢，所有调查受访者都将有机会赢得一件MLflow T恤或2019年Spark+AI峰会门票。在这篇文章中，我们将简要介绍MLflow是什么，以及我们2019年正在进行的一些工作。我们希望这能让您了解我们的想法，但我们很乐意听到您的反馈。什么是MLflow？MLflow是一个管理机器学习生命周期的平台，使构建和维护ML应用程序变得更快。与传统的软件开发不同，ML开发需要管理大量的数据集、实验和模型，并不断更新生成的模型，以优化预测度量。MLflow提供了三个简单的工具，可以与任何ML库或框架一起使用来管理此过程：MLflow Tracking：一个restapi记录参数、代码版本、度量和其他实验结果，以及一个用于搜索、共享和比较这些结果的UI。此组件为模型构建的实验阶段添加了结构，用户可以快速比较过去的结果，并且还提供了一种强大的方法来跟踪模型在生产中的性能，因为它们是定期重新培训的。MLflow Projects：一种可重复运行的打包格式，允许用户使用正确的库依赖项快速运行另一个开发人员的代码，或者将远程运行提交到Databricks等云平台。MLflow模型：一种打包模型的格式，以便可以将它们部署到各种ML评分环境中，例如REST服务或批处理推理。MLflow模型允许ML开发人员将来自任何ML框架或自定义代码的模型打包在一个一致的接口后面，以便进行部署。这些组件被设计成可以一起或单独工作，让用户逐渐采用最有用的组件。例如，我们在Databricks上的许多早期用户从MLflow跟踪开始用于实验管理，然后开始使用MLflow模型将他们的自定义推理代码与模型打包在一起以进行部署。其他客户从MLflow项目开始在云中运行他们的培训工作，然后开始跟踪以管理这些运行的结果。MLflow的下一步是什么2019年，我们已经在开发四类功能来改进MLflow，包括改进现有组件和添加新组件。主要工作是：mlflow1.0中的API稳定：我们非常相信提供稳定的、向前兼容的API，以便用户可以在我们的软件上进行构建。因此，我们2019年上半年的主要目标之一是稳定MLflow 1.0中的MLflow API。在1.0之后，MLflow将遵循语义版本控制，并以类似于apachespark的方式清楚地标记任何实验性api。好消息是用户已经对我们的beta API相当满意了，但是我们希望在1.0中消除任何粗糙的边缘。我们很乐意在我们的调查中听取您对这些问题的反馈。改进现有组件：在现有组件上有很多令人兴奋的正在进行的工作。例如，我们最近合并了一个补丁，为MLflow跟踪服务器添加了一个数据库后端以提高可伸缩性，还有一个补丁添加了Docker作为打包项目的格式。我们要投资的另一个主要领域是模型打包——例如，通过添加一种方法来指定模型的数据模式。新组件：我们将MLflow设计为一组模块化api，以允许添加与现有组件一起工作的新组件。对于2019年，我们正在考虑的两个主要组件是一个用于管理多个版本模型的模型注册表，以及一个遥测API，用于以一致的方式记录已部署模型的指标，而不管这些模型在何处运行。我们很想听听你对这些想法的反馈。托管MLflow的普遍可用性：去年，Databricks发布了一个托管MLflow的私有beta版，该测试版已经向我们的客户提供。我们正在努力使这个产品普遍适用于任何想要托管MLflow服务器的人。当然，我们希望您能对所有这些举措以及您在生产ML时遇到的其他障碍提供反馈。请花几分钟时间填写我们的调查，以帮助制定我们的路线图。从这里到哪里去如果您想了解更多关于MLflow的信息，官方文档提供了一个完整的起点。我们也有一个关于MLflow的更新的时事通讯和一个用于实时回答其他用户问题的空闲频道。免费试用Databricks。今天就开始吧