Azure Databricks是一个统一的数据分析平台，是Microsoft Azure云的一部分。Azure Databricks建立在Delta Lake、MLFlow、考拉和Apache Spark的基础上，是Microsoft Azure云上的第一方服务，它提供一键式设置、与其他Azure服务的本地集成、交互式工作区和企业级安全性，为小型到大型全球客户提供数据和人工智能使用案例。该平台支持任何企业中不同数据角色之间的真正协作，如数据工程师、数据科学家、数据分析师和SecOps/云工程。在这篇两篇文章中的第一篇文章中，我们将概述azuredatabricks体系结构，以及客户如何以安全的方式连接到他们自己的Azure数据服务托管实例。Azure Databricks体系结构概述azuredatabricks是Azure云上的一个托管应用程序。在高层，体系结构由控制/管理平面和数据平面组成。控制平面位于Microsoft托管订阅中，并包含web应用程序、群集管理器、作业服务等服务。在默认部署中，数据平面是客户订阅中的完全托管组件，其中包括VNET、NSG和名为DBFS的根存储帐户。数据平面也可以部署在客户管理的VNET中，以允许secop和云工程团队根据其企业治理策略为服务构建安全和网络架构。此功能称为自带VNET或VNET注入。图为此类客户架构的代表性视图。安全连接到Azure数据服务企业安全是Databricks和Microsoft构建软件的核心原则，因此它被认为是azuredataricks中的一流公民。在本博客的上下文中，安全连接是指确保从Azure Databricks到Azure数据服务的流量保持在Azure网络主干上，并具有将Azure Databricks作为允许的源的固有能力。作为安全最佳实践，我们建议客户使用两个选项来建立对Azure数据服务（如Azure Blob存储、Azure data Lake Store Gen2、Azure Synapse数据仓库、Azure CosmosDB等）的数据访问机制。有关Azure私有链接和服务终结点的讨论，请进一步阅读。选项1:Azure私有链接从azuredatabricks访问Azure数据服务的最安全的方法是配置私有链接。根据Azure文档–私有链接允许您通过虚拟网络中的私有端点访问Azure PaaS服务（例如，Azure存储、Azure Cosmos DB和SQL数据库）和Azure托管的客户/合作伙伴服务。虚拟网络和服务之间的通信量通过Microsoft网络主干线进行传输，从而消除了公共Internet的暴露。您还可以在虚拟网络（VNet）中创建自己的私有链接服务，并将其私下交付给客户。使用Azure Private Link的设置和消费体验在Azure PaaS、客户拥有和共享的合作伙伴服务中是一致的。详情请参考此。请看下面关于如何将Azure数据块和私有链接一起使用的内容。独立VNETs中的Azure数据块和Azure数据服务专用终结点同一个VNET中的Azure数据块和Azure数据服务专用终结点私有端点注意事项在实现私有端点之前，请考虑以下事项：默认情况下提供防止数据外泄的保护。在azuredatabricks的情况下，一旦客户白名单访问了控制平面中的特定服务，这将适用。保持Azure网络主干上的流量，即公共网络不用于任何数据流。将您的专用网络地址空间扩展到Azure数据服务，即Azure数据服务有效地在您的一个Vnet中获得一个专用IP，并且可以被视为更大的专用网络的一部分。私自连接到其他区域的Azure数据服务，即区域A中的VNET可以通过私有链接连接到区域B中的端点。与其他安全访问机制相比，私有链接的设置相对复杂一些。请参阅文档以获取专用链接的好处和特定于服务的可用性的详细列表。可以使用私有链接的一个例子是，客户在生产中使用一些Azure数据服务以及Azure数据块，如Blob存储、ADLS Gen2、SQL DB等。企业希望用户从ADLS Gen2查询屏蔽聚合数据，但要限制他们访问其他数据源中的未屏蔽机密数据。在这种情况下，只能使用上面讨论的任何子选项为ADLS Gen2服务建立私有端点。这就是如何配置这样一个环境：1–为ADLS Gen2设置专用链接2–在VNET中部署Azure数据块请注意，每个Azure数据服务可以配置多个私有链接，这允许您构建一个符合企业治理需求的体系结构。选项2:Azure虚拟网络服务终结点根据Azure文档，虚拟网络（VNET）服务端点扩展了虚拟网络专用地址空间。端点还通过直接连接将VNet的标识扩展到Azure服务。终结点允许您将关键Azure服务资源仅保护到虚拟网络。从VNet到Azure服务的流量始终保持在Microsoft Azure网络主干上。服务端点提供以下好处（来源）：提高了Azure服务资源的安全性不同虚拟网络的专用地址空间可以相互重叠。您不能使用重叠的网络空间来唯一标识来自特定VNET的流量。一旦为VNET中的子网启用了服务端点，就可以添加虚拟网络防火墙规则，通过将VNET标识扩展到这些资源来保护Azure数据服务。这样的配置有助于删除对这些资源的公共访问，并且只允许来自VNET的流量。来自虚拟网络的Azure数据服务流量的最佳路由今天，VNET上用于通过云/基于内部部署的虚拟设备引导以公共网络为目的的流量的任何路由也用于Azure数据服务流量。服务端点为Azure流量提供最佳路由。保持Azure网络主干上的流量服务端点总是将Azure数据服务流量直接从VNET定向到Microsoft Azure网络主干上的资源。在Azure网络主干上保持流量允许您通过强制隧道继续审核和监视来自虚拟网络的出站Internet流量，而不会影响数据服务流量。有关用户定义路由和强制隧道的更多信息，请参阅Azure虚拟网络流量路由。设置简单，无需管理开销您不再需要在虚拟网络中保留公共IP地址来通过IP防火墙保护Azure数据服务资源。设置服务端点不需要网络地址转换（NAT）或网关设备。您可以通过子网的简单设置来配置服务端点。维护端点没有额外的开销。带Azure服务终结点的Azure RicksAzure服务端点注意事项在实现服务端点之前，请考虑以下事项：默认情况下不提供防止数据外泄的保护。保持Azure网络主干上的流量，即公共网络不用于任何数据流。Azure服务不扩展你的网络空间。无法私下连接到其他区域（成对区域除外）中的Azure数据服务。有关Azure服务端点优点和限制的详细列表，请参阅文档。以上面提到的私有链接的相同示例为例，以及它与服务端点的关系。在这种情况下，可以在Azure Databricks子网上配置Azure存储服务端点，然后在ADLS Gen2防火墙规则中列出相同的子网。这就是如何配置这样一个环境：1–为ADLS Gen2设置服务端点2–在VNET中部署Azure数据块3–在ADLS Gen2上配置IP防火墙规则安全Azure数据访问入门我们讨论了从您的Azure Databricks环境安全地访问Azure数据服务的几个选项。根据您的业务特点，您可以使用Azure专用链接或虚拟网络服务终结点。网络连接方法完成后，您可以使用安全身份验证方法连接到这些资源：请访问特定数据源的Azure Databricks文档。考虑使用机密来隐藏任何凭据。如果可能，请使用Azure AD凭据传递访问ADLS Gen2。在本系列的下一篇博客中，我们将深入探讨如何设置一个锁定的环境来防止数据外泄（换句话说，实现一个数据丢失预防体系结构）。它将利用上面讨论的选项和Azure防火墙的混合。如有任何问题，请联系您的Microsoft或Databricks客户团队。免费试用Databricks。今天就开始吧