8月30日，我们的团队与Databricks的联合创始人兼首席技术专家Matei Zaharia共同举办了一场在线研讨会，介绍了MLflow：完整机器学习生命周期的基础设施。在本次网络研讨会上，我们为您介绍了MLflow，这是Databricks的一个新的开源项目，旨在设计一个开放的ML平台，组织可以使用他们选择的任何ML库和开发工具来可靠地构建和共享ML应用程序。MLflow引入了简单的抽象来打包可重复的项目、跟踪结果并封装可用于许多现有工具的模型，从而加快了任何规模的组织的ML生命周期。特别是，我们展示了如何：使用MLflow跟踪跟踪跟踪流行框架的实验运行和结果从命令行或Databricks笔记本执行GitHub上发布的MLflow项目，并在Databricks集群上远程执行项目在prem或云中快速部署MLflow模型，并通过restapi公开它们如果您错过了网络研讨会，现在就可以查看。此外，我们演示了以下笔记本和数据集。GitHub上提供了更多的代码示例和教程，包括超参数调优，以及关于Tensorflow、Pytorch和scikit learn的模型培训和跟踪。如果您想免费访问Databricks统一分析平台，并尝试我们的笔记本电脑，您可以访问免费试用。最后，我们进行了问答，下面是问题和答案。 一般性问题Q： 由于MLflow是alpha版本，那么第一个稳定版本的时间表是什么？我们非常关心API的稳定性，并使MLflow成为一个可以长期构建的库。我们希望原料药尽快稳定，目前目标是2019年上半年开始保证稳定。Q： 我们必须一起使用MLflow模块还是只能使用跟踪模块？是的，您一次只能使用一个模块：MLflow跟踪、MLflow项目或MLflow模型。MLflow被设计成模块化，以提供最大的灵活性，并容易地集成到用户现有的ML开发过程中。Q： MLflow与Azure一起工作吗？克劳德拉？其他供应商？您可以在任何平台上使用开源MLflow软件。存储可以在本地或在azureblob存储、S3或Google云存储上工作，我们有一些关于如何使用MLflow的文档，无论是否有Databricks。Q： 您是否计划在将来支持任何AutoML，如自动参数调整？MLflow很容易与现有的超参数调整工具（如Hyperopt或GPyOpt）集成。您可以使用这些工具自动运行具有不同超参数的MLflow项目，以找到最佳的超参数组合。MLflow代码库中包含一个示例。Q： MLflow与H2O AutoML有何不同？自动建模并不是整个流程自动化的目标。相反，它的目标是简化ML开发过程，并通过让现有的ML开发人员（包括数据科学家和生产工程师）更容易地跟踪、复制和比较结果，从而提高其生产力。这些特性对于投入生产和可靠地维护模型非常有用，即使您使用AutoML，它们也可以与其他ML工具一起工作，而不仅仅是AutoML库中支持的那些工具。Q： 有没有想过把像TransmogrifAI（自动化特征工程）这样的东西集成到MLflow中？是的，我们的目标是轻松支持使用任意ML库，包括TransmogrifAI。例如，您可以使用MLflow将参数和度量记录到TransmorgifAI，然后可视化以发现模式，以便重新配置TransmogrifAI实验以获得更好的性能。 关于MLflow跟踪的问题MLflow跟踪允许记录和查询实验：代码、数据、配置、结果。在本次网络研讨会中，我们演示了如何使用通用Python函数以及scikit learn与MLflow一起跟踪线性回归模型的结果。在Github上查看更多示例。Q： 你有在团队环境中使用共享MLflow跟踪服务器的文档吗？共享跟踪服务器是否有安全措施？如果我想知道是谁做了一个特定的实验。当然，这里是我们的MLflow跟踪文档以及MLflow跟踪服务器，可以为协作目的而设置。此外，MLflow Tracking UI还允许您查看哪些人在MLflow跟踪服务器中运行。MLflow跟踪服务器只提供了一个HTTP接口，因此我们建议将其放在HTTP代理或VPN后面以进行安全身份验证。Q： 指标/参数记录在哪里？MLflow运行可以本地记录在文件中，也可以远程记录到MLflow跟踪服务器。它与azureblob存储、S3或Google云存储一起工作。更多详细信息请参阅我们的文档。Q： 如何从Azure Databricks运行MLflow UI？你可以通过使用开源MLflow在Azure数据块上使用MLflow，就像我们在本次网络研讨会上演示的那样。您可以参考我们的文档了解更多信息。在0.6版本中，MLflow将自动理解您是否在数据库中运行实验，并将记录到您的笔记本或作业的链接。我们还提供了一个私人预览托管MLflow在数据链上的客户。你可以在https://databricks.com/product/managed-mlflow了解更多信息。Q： 您是否有在数据库上启用存储的未来计划？是的，我们还计划包括一个数据库存储后端，以便您可以插入通用的SQL数据库。MLflow中的存储后端已经是可插拔的，所以我们欢迎开放源码的贡献来添加它。Q： 如果我在Databricks笔记本中运行一个网格搜索功能，那么可以直接跟踪到MLflow中吗？是的，你甚至可以在一个循环中在同一个细胞中运行多个实验。无论何时使用API，MLflow都会记录所有的运行。 关于MLflow项目的问题MLflow项目允许在任何平台上打包可重复运行的格式。在这里了解更多。Q： Github项目需要有一个MLproject文件来支持通过MLflow运行吗？我们目前建议您在对GitHub项目执行MLflow时创建MLproject文件。虽然您也可以在没有GitHub存储库的情况下运行代码（只需在存储库中指定一个脚本作为入口点），MLProject有助于记录入口点（即如何运行代码）及其依赖关系。 关于MLflow模型的问题MLflow模型提供了一种通用的模型格式，支持不同的部署工具。在这里了解更多。Q： "云端运行"功能的可配置性如何？如果我想对CPU强的VM运行一个作业，然后再针对GPU强VM运行作业呢？MLflow被设计成对您的环境不可知的，所以只要您的ML库支持在不同类型的硬件上运行，就可以将其打包到MLflow模型中并在这些设置中部署它。该项目提供了与流行的ML库的内置集成，我们打算对这些库进行优化以获得良好的性能。Q： 将Databricks笔记本导出到azuremlweb服务是否可以作为开源MLflow的一部分提供MLflow目前支持将模型导出到azureml，尽管我们没有导出笔记本。我们只是导出您构建的模型，那个函数，是的，它现在是受支持的。您可以在我们的文档中了解更多。Q： MLflow是否支持将scikit学习模型部署到Amazon Sagemaker，它是如何工作的？这个mlflow.sagemaker公司模块可以在SageMaker上部署python_函数模型，也可以在与SageMaker兼容的环境中本地部署在Docker容器中。要使用MLflow部署到SageMaker，必须先设置环境和用户帐户。此外，为了将自定义模型导出到SageMaker，需要在amazonecr上提供MLflow兼容的Docker映像。MLflow提供了一个默认的Docker图像定义；但是，您需要构建实际的图像并将其上载到ECR帐户。MLflow包含一个执行此步骤的实用程序。一旦构建并上传，MLflow容器就可以用于所有MLflow模型。有关更多信息，请参阅我们的文档。 要开始使用MLflow，请按照中的说明操作mlflow.org网站或者查看Github上的alpha发布代码。我们最近还为MLflow创建了一个Slack频道，用于实时提问，您可以在Twitter上关注@MLflowOrg。我们很高兴听到您对概念和代码的反馈！免费试用Databricks。今天就开始吧