雪花如何跨多个云和区域提供单一数据体验2020年6月2日|4分钟读取作者：贝诺特·达维尔雪花新闻2012年夏天，我和Thierry Cruanes共同创立了Snowflake，当时我们决定将雪花云数据平台建立在公共云提供的基础设施之上。从第一天起，我们的目标就是建立一个具有几乎无限弹性、规模和性能的云数据平台，该平台易于使用，并采用现收现付模式。我们的云数据平台的构建块是一个雪花区域。雪花公共区域和云公共区域之间存在一对一的关系。雪花区的架构旨在利用我们的云数据平台提供的底层基础设施。它具有高可用性、可扩展性和自我管理性。在高层，它由三个完全解耦的层组成，彼此独立扩展。雪片区域的中心是存储层，它利用了托管云区域的blob存储，非常便宜，几乎具有无限的容量，并且具有高度可用性和持久性。它支持数PB大小的表，并对半结构化数据（如JSON）提供本地支持。我们的存储层可以在不显式地对数据进行分区的情况下进行秒级响应。我们还通过非常快速的插入/更新/删除/合并操作完全支持ACID事务。最后，我们的存储非常安全。所有静止的数据都用雪花加密。我们架构的第二层是多集群计算层，它与存储层完全分离。该层运行任意数量的工作负载，这些工作负载有自己的专用计算集群，即使这些工作负载读写相同的底层数据。这是一个非常经济高效的模型，因为计算资源是根据每个工作负载的需要和每秒的雪花收费来独立调整大小的。这一层还提供了无限的可伸缩性和弹性，因为实际上对活动的并发集群的数量没有限制。架构的最后一层运行雪花区域的云服务。它实际上是雪花区域的控制平面，也是所有外部客户机的接口。对于每个客户帐户，云服务层管理客户端会话、元数据、事务、查询规划、安全/治理和许多其他服务。此层还具有高度可扩展性，没有任何规模限制。今天，大雪花地区支持数千个客户帐户，每天处理数亿个查询。最初，雪花只在AWS上提供。我们后来在2018年将其移植到Azure云，然后在2020年将其移植到Google云平台（GCP）。很快，雪花云数据平台将在比任何单一云基础设施提供商提供的更多的云区域使用。我们通过构建一个与云无关的层来移植我们的软件，抽象出底层云基础设施的特殊性。这意味着在雪花云数据平台上运行的任何应用程序也是云无关的。这一点非常重要，因为避免任何云锁定是使用雪花的关键好处之一然而，我们对雪花的设想远不止是在不同的云层区域独立运行我们的软件。我们设想了雪花地区相互作用以提供全球能力的能力。如果没有这些全球功能，我们客户的数据将像在基础设施云中那样孤立，从而有效地将应用程序限制在单个云区域。因此，我们还建立了我们所称的全球数据网格，将所有这些区域相互连接起来，不管它们来自何处。我们的平台使用全局数据网格高效、安全地移动大量数据。这使我们能够构建全局特性，这本质上是跨区域和跨云的这些全局特性中的第一个是全局帐户管理，它使创建和管理单个区域中的雪花帐户变得非常容易。已经为此创建了一种新的管理员角色-组织管理员。例如，组织管理员可以直接转到雪花网网站和创建他们在雪花AWS美国西部地区的第一个帐户。从第一个帐户开始，组织管理员可以使用"createaccount"DDL语句在雪花云数据平台的任何其他区域创建新帐户。雪花的另一个全局特性是数据库复制。您可以在属于同一组织的任何帐户之间复制数据库，即使这些帐户位于不同的云中。数据库复制有几个用例。第一种是全局数据共享，它允许在两个雪花区域之间共享数据并将数据复制到新的区域。另一个用例是将一个帐户迁移到不同的雪花区域。最后一个用例是业务连续性。在这种情况下，Snowflake支持数据和客户端连接的完全故障转移。此外，我们最近还推出了一个新的令人兴奋的全球解决方案，雪花数据市场，以前称为公共数据交换。我们的数据市场对我们的所有客户都是可用的，是数据提供商创建列表以向数据消费者宣传其数据集的地方。雪花供应商和消费者帐户可以位于不同的区域或云中。因此，市场变得全球化。消费者和供应商之间的所有交互都是通过雪花云数据平台来执行的，同样，使用了全球数据网格。这些特性说明了雪花云数据平台是如何有效地为世界提供一个单一的平台，构建在基础设施云之上，其中每个节点都是一个雪花区域，通过我们的全球数据网格与所有其他节点相连。这使得雪花成为一个超越云和地理边界的内聚系统，使我们和我们的客户能够构建令人惊叹的全球和云无关的特性。当然，正如你们所想象的，我们仅仅是在我们的全球之旅的开始。点击这里，从雪花CEO Frank Slootman那里了解更多关于数据云崛起的信息。点击这里了解雪花云数据平台的最新创新，来自雪花的产品高级副总裁克里斯蒂安·克莱曼（Christian Kleinerman）。就像你读的？通过喜欢和分享来表达你的感激之情！Facebook推特LinkedIn