我们很高兴引入一个新的运行时：Databricks runtime 5.4 with Conda（Beta）。这个运行时使用Conda来管理Python库和环境。我们的许多Python用户喜欢使用Conda来管理他们的Python环境和库，Conda很快就成为了一种标准。Conda采取了一种整体的方法来管理软件包，它能够：环境的创造和管理安装Python包易于复制的环境与pip兼容因此，我们很高兴地宣布，您现在可以获得一个完全基于Conda的运行时。它的发布带有"Beta"标签，因为它只用于实验性使用，还没有用于生产工作负载。这个名称为我们提供了一个收集客户反馈的机会。随着带有Conda的Databricks运行时的成熟，我们打算让Conda成为所有Python用户的默认包管理器。首先，在Databricks中创建新集群时，从下拉列表中选择Databricks Runtime 5.4 with Conda（Beta）。按照将光标悬停在问号上时显示的说明选择两个预配置环境之一：标准（默认）或最小。为什么使用Conda进行Databricks运行时Conda是一个开源的软件包和环境管理系统。由于其广泛的支持和灵活性，Conda正在成为开发人员管理Python包的标准。作为一个环境管理器，它允许用户轻松地创建、保存、加载和在Python环境之间切换。我们一直在使用Conda来管理Databricks运行时中的Python库以进行机器学习，并收到了积极的反馈。通过使用Conda（Beta）的Databricks运行时，我们扩展Conda以服务于更多的用例。对于Python开发人员来说，创建一个安装了所需库的环境是第一步。特别是机器学习领域正在迅速发展，Python中的新工具和库也在不断涌现和更新。建立一个可靠的环境会带来一些挑战，例如版本冲突、依赖性问题和环境再现性。康达的诞生正是为了解决这个问题。通过将环境和安装组合到一个框架中，开发人员可以在一个独立的环境中轻松可靠地设置库。在Databricks运行时中构建一流的Conda支持可以显著提高团队中开发人员和数据科学家的生产力。我们的统一分析平台服务于各种各样的用户和体验水平。我们支持用户从SAS或R迁移到Python，但是对于Python到Python专家来说仍然是新手。我们的目的是使Python环境的管理尽可能简单。为此，我们提供：多个健壮的预配置环境，每个环境都服务于不同的用例定制环境的简单方法在不同级别的Databricks产品（工作区、集群和笔记本）上管理、共享和重新创建环境的简便性和灵活性我们不仅希望让您能够非常容易地开始使用Databricks，而且还希望您能够非常容易地将在其他地方开发的Python代码迁移到Databricks。在Databricks Runtime 5.4 with Conda（Beta）中，您可以获取代码以及需求文件(要求.txt)从GitHub、Jupyter笔记本或其他数据科学IDE到Databricks。一切都应该开箱即用。作为一个开发人员，您可以花很少的时间来管理库，而将您的时间集中在开发应用程序上。Databricks Runtime Conda 5.4（测试版）提供了什么Databricks Runtime 5.4 with Conda（Beta）在以下方面提高了灵活性：增强预配置环境我们致力于提供预先配置的环境，并安装流行的Python库。在Databricks Runtime 5.4 with Conda（Beta）中，我们引入了两个配置环境：标准环境和最小环境（Azure | AWS）。在这两个环境中，我们升级了Python基本库，与Databricks运行时（Azure | AWS）相比Databricks Runtime 5.4 with Conda（Beta）允许您使用Conda安装Python包。如果您想安装库，您将从Conda提供的支持中获益。请参考用户指南（Azure | AWS）了解如何使用Conda安装包我们正在利用Anaconda Distribution 5.3.1我们升级到了python3.7轻松定制环境使用Python的Beta.cond5.5可以轻松定制您的运行时环境。您可以在需求文件中定义环境需求(要求.txt)，将其上载到DBFS，然后使用library.dbutils安装在笔记本中构建自定义环境。您不再需要逐个安装库。您可以在用户指南（Azure | AWS）中找到定制环境的示例需求文件和说明环境再现性在带有Conda（Beta）的Databricks Runtime 5.4中，每个笔记本都可以有一个独立的Python环境，从而减少笔记本之间的包冲突。你可以用要求.txt轻松地将环境复制到笔记本上。我应该选择哪个运行时将来，Conda的Databricks运行时将成为标准运行时。但是，作为Beta版产品，Databricks运行时与Conda一起用于实验性使用，而不是用于生产工作负载。以下是一些帮助您选择运行时的准则：Databricks运行时：我们鼓励需要稳定性的Databricks运行时用户继续使用Databricks运行时。Databricks Runtime ML：我们鼓励不需要定制环境的Databricks Runtime ML用户继续使用Databricks Runtime ML。Databricks Runtime with Conda:Databricks Runtime 5.4 with Conda（Beta）提供了两个基于Conda的、预配置的根环境（标准和最小），用于不同的用例。标准环境：默认环境（Azure | AWS）。在创建集群时，在Databricks运行时版本下拉列表中选择Databricks Runtime 5.4 with Conda（Beta）。标准环境旨在为Databricks运行时用户提供服务，它根据使用情况预先安装流行的python包，从而提供一个随时可用的环境。许多基本Python库在标准环境中进行了升级。我们鼓励需要这些升级的Python库的Databricks运行时用户试用标准环境。最小环境：包含一个最小的库集来运行Python笔记本和Databricks中的PySpark（Azure | AWS）。这种光环境是为定制而设计的。我们鼓励那些需要定制Python环境但与标准环境存在依赖冲突的Python用户尝试最小环境。要使用最小环境，请在Databricks Runtime Version下拉列表中选择Databricks Runtime 5.4 with Conda。然后按照说明复制并粘贴DATABRICKS_ROOT_CONDA_ENV=DATABRICKS minimal to Advanced Options>Spark>Environment Variables，这可以在createcluster页面的底部找到（见下文）。在即将发布的版本中，我们将简化此步骤，并允许您从下拉列表中选择最小环境。在即将发布的版本中可以期待什么在接下来的版本中，我们计划继续改进使用Conda服务的三个关键用例Databricks运行时。增强预配置环境我们的最终目标是在无缝体验中统一所有三个运行时（Databricks Runtime、Databricks Runtime ML、Databricks Runtime with Conda）的集群创建。在完全成熟的产品中，我们期望有多个预配置的环境为不同的用例服务，包括机器学习的环境。此外，我们计划通过允许您在Databricks运行时中使用Conda从下拉列表中选择一个预先配置的环境来改善用户体验。最后，我们将继续更新Python包以及Anaconda发行版。轻松定制环境我们计划添加对使用环境.yml（conda使用的环境文件，以及笔记本中的库实用程序。我们还计划在笔记本和群集安装的库实用程序中支持conda包的安装。目前两者都使用PyPI。环境的易重复性我们计划让用户更容易地查看、修改和共享环境参数。您可以在工作区中保存环境文件，并在环境之间轻松切换，以便在创建集群时将同一环境复制到集群。使用Conda（Beta）在Databricks Runtime 5.4中升级Python库请在我们的发行说明（Azure | AWS）中找到dataricks Runtime with Conda（Beta）中预安装的包的列表。阅读更多Databricks Runtime 5.4 with Conda（Beta）发行说明（Azure | AWS）Databricks Runtime 5.4 with Conda（Beta）用户指南（Azure | AWS）     免费试用Databricks。今天就开始吧