Azure Databricks统一分析平台是Databricks和Microsoft联合开发产品/工程的结果。它在Azure公共云上作为托管第一方服务提供。除了一键式设置（手动/自动）、托管群集（包括Delta）和协作工作区外，该平台还与其他Azure第一方服务进行了本机集成，如Azure Blob存储、Azure Data Lake Store（Gen1/Gen2）、Azure SQL数据仓库、Azure Cosmos DB、Azure Event Hubs、Azure Data Factory等。，而且名单还在不断增加。此外，该平台是建立在强大的安全基础上，提供与Azure ActiveDirectory（AAD）的本地集成；并且符合主要的安全认证，例如ISO 27001、SoC 2类型2、HIPAA等等。该服务由微软SLA和支持支持。在这个博客中，我们将概述azuredatabricks平台架构，以及如何在自己的托管azurevnet中部署集群。平台架构Azure Databricks是一个托管应用程序，由两个高级组件组成：控制平面–驻留在Microsoft托管的Azure订阅中的管理层，由群集管理器、web应用程序、作业服务等服务组成。每个服务都有自己的机制，根据工作区标识符隔离处理、元数据和资源，然后使用工作区标识符执行每个请求。数据平面–由在客户管理的Azure订阅中创建的锁定虚拟网络（azurevnet）组成。所有集群都是在该VNET中创建的，任何数据处理都是对驻留在客户管理源中的数据进行的。平台架构-默认部署模型平台体系结构-在默认部署模式（上图）中，数据平面VNET和网络安全组（NSG）由Microsoft管理，尽管它们是在客户的订阅中提供的。这些资源是针对客户的任何更改而"锁定"的，类似于其他Azure第一方服务的运行方式。其目标是使其易于使用，并避免用户进行非预期的更改。可以使用Azure Databricks特定的VNET对等功能来对等其他Azure云VNETs，尽管通过ExpressRoute或VPN网关连接到本地数据源在这种部署模式下是不可能的（请进一步阅读如何实现这种连接）。带上你自己的VNET尽管默认部署模式适用于许多企业，但许多企业客户希望对服务网络配置进行更多控制，以遵守内部云/数据治理策略和/或遵守外部法规，和/或进行网络定制，例如：使用Azure服务终结点将Azure Databricks群集安全地连接到其他Azure数据服务将Azure Databricks群集连接到部署在专用/共用数据中心（本地）的数据源仅将来自Azure Databricks群集的出站流量限制为特定的Azure数据服务和/或外部终结点配置Azure Databricks群集以使用自定义DNS为Azure Databricks群集配置自定义CIDR范围还有更多为了实现上述目标，我们提供了一个自带VNET（也称为VNET注入）功能，允许客户在自己的托管VNET中部署azuredatabricks集群（数据平面）。这样的工作区可以使用azureportal部署，也可以使用ARM模板以自动化的方式部署，ARM模板可以使用azurecli、azurepowershell、azurepythonsdk等运行。有了这个功能，Databricks工作区NSG也由客户管理。我们使用网络意向策略管理一组入站和出站NSG规则，因为这些规则是与控制/管理平面进行安全、双向通信所必需的。具有机内连接（可选）的平台架构如下所示： 平台架构——VNET注入部署使用自带的VNET/VNET注入功能，可以配置：与本地数据源的连接（需要使用Azure UDR列出数据块控制平面流量的白名单）通过防火墙设备/服务路由出站流量将Azure Databricks子网配置为Azure Blob存储、Azure Data Lake Store、Azure SQL数据仓库等的防火墙规则中的源-需要Azure服务端点以及前面讨论过的其他事情。这允许客户遵守各种内部和外部安全策略和框架，同时保持服务的PaaS性质，从而为托管平台提供与默认部署模式相同的易用性。今天，该特性将在所有Azure Databricks区域发布完整的生产sla。即将正式上市。试试看！如果您还没有使用azuredatabricks，您可以按照以下说明进行尝试。 免费试用Databricks。今天就开始吧