Azure Databricks是一个基于Apache Spark的分析平台，针对microsoftazure云进行了优化，是一个高效的开源工具，但它会自动创建资源组和工作区，并使用系统级锁对它们进行保护，所有这些都可能会令人困惑和沮丧，除非您了解如何以及为什么。Databricks平台提供了一个交互式工作区，简化了数据科学家、数据工程师和业务分析师之间的协作。Spark analytics engine支持机器学习和大规模分布式数据处理，将大数据分析的许多方面结合在一个流程中。Spark以批处理（rest）或流处理（live）模式处理大量数据。实时处理能力是Databricks/Spark与Hadoop（Hadoop使用MapReduce算法只处理批处理数据）的不同之处。资源组是管理绑定到数据块的资源的关键。通常，企业网站自助建站，您可以指定在哪些组中创建资源。当您创建一个azuredatabricks服务实例并指定一个新的或现有的资源组时，这种情况会稍微改变。例如，我们正在创建一个新的资源组，Azure将创建该组并在其中放置一个工作区。该工作区是azuredatabricks服务的一个实例。除了直接指定的资源组外，企业管理应用，它还将创建第二个资源组。这被称为"托管资源组"，它以单词"databricks"开头。这个Azure托管资源组允许Azure以托管服务的形式提供数据块。最初，此托管资源组将只包含少数工作区资源（虚拟网络、安全组和存储帐户）。稍后，创建群集时，该群集的关联资源将链接到此托管资源组。"databricks xxx"资源组在创建时被锁定，因为该组中的资源向用户提供databricks服务。您不能直接删除锁定的组，也不能直接删除该组的系统拥有的锁。唯一的选择是删除服务，这反过来又会删除基础结构锁。对于Azure标记，放置在Databricks托管资源组上的锁阻止您添加任何自定义标记、删除任何资源或对托管资源组资源执行任何写入操作。示例部署让我们来看看在创建有关资源和资源组的Azure Databricks服务实例时会发生什么：台阶创建Azure Databricks服务的实例指定工作区的名称（这里我们使用了nwoekcmdbworkspace）指定创建一个新的资源组（这里我们使用了nwoekcmdbrg）或选择一个现有的资源组点击创建结果创建nwoekcmdbrg资源组自动创建nwoekcmdbworkspace，这是Azure Databricks服务。它包含在nwoekcmdbrg资源组中。自动创建databricks-rg-nwoekcmdbworkspace-c3krtklkhw7km资源组。它包含一个存储帐户、一个网络安全组和一个虚拟网络。单击工作区（azuredatabricks服务），它会打开带有"启动工作区"按钮的工作区。启动工作区使用AAD将您登录到Azure Databricks服务。您可以在这里创建Databricks集群或运行查询、导入数据、创建表或创建笔记本来开始查询、可视化和修改数据。我决定创建一个新的集群来演示设备的资源存储位置。在这里，我们创建一个集群来查看资源的位置。创建集群后，在Azure Databricks托管资源组Databricks-rg-nwoekcmdbworkspace-c3krtklkhw7km中创建了许多资源。它不再像最初那样只包含一个VNet、NSG和存储帐户，而是包含多个vm、磁盘、网络接口和公共IP地址。工作区nwoekcmdbworkspace和原始资源组nwoekcmdbrg都保持不变，淘客论坛，因为在托管资源组databricks-rg-nwoekcmdbworkspace-c3krtklkhw7km中进行了所有更改。如果你点击"锁"，你可以看到上面有一个只读锁，以防止删除。点击"删除"按钮会产生一个错误，说锁无法被删除。如果您对标记中的原始资源组进行更改，它们将反映在"databricks xxx"资源组中，但不能直接更改databricks xxx资源组中的标记值。摘要使用azuredatabricks时，当一个新的工作区和托管资源组刚刚出现时，可能会令人困惑。Azure自动创建Databricks工作区，以及包含运行集群所需的所有资源的托管资源组。它由系统级锁保护，以防止删除和修改。直接删除锁的唯一方法是删除服务。如果需要更改托管资源组中的标记，这可能是一个巨大的限制。但是，通过更改父资源组，这些更改将在托管资源组中相应地更新。Mike McKeown是DXC技术的Azure解决方案架构师，spark大数据，也是DXC Azure卓越中心团队的成员。Mike在微软工作了20多年，私有云市场，自2011年起一直在Azure工作。他出版了一本关于AzureAutomation的书（MS Press），用Pluralsight开发了四门Azure课程，为MSDN撰写了许多白皮书和文章，并在许多关于Azure的会议上发表过演讲。请在LinkedIn上与Mike联系。