4月15日，我们在法兰克福开设了最新的数据中心。在宣布FRA1的博客文章中提到，新的数据中心是使用40G网络和更快的SSD构建的。那篇博客没有提到的是，整个网络实际上是从头开始重新设计的，以使我们能够增长和扩展到一些令人印象深刻的数字。除此之外，我们还开始用这种新的设计对我们的一些老地点进行改造，包括40G网络和更新更快的虚拟机监控程序在这个博客中，我们将更详细地介绍我们如何将live DCs升级到新的架构，看看我们是如何打造未来的法兰克福数据中心我们先来看看我们在法兰克福使用的新设计。它基于广泛使用的Clos拓扑结构，利用spine和leaf交换机构建一个高度可扩展和冗余的网络。在这种情况下，叶交换机是机架顶部（TOR）交换机，而脊椎交换机在进入核心交换机之前充当聚合层网络。这里就这样看：叶子此图中的开关表示TOR开关。机架中的每个虚拟机监控程序都有一个40G连接到两个叶交换机。从那里，每个叶开关连接到每个脊椎（同样，有40G连接）。这允许大量的带宽，并提供高水平的冗余。缩放上图只显示了4对叶型交换机，在本例中为4个机架。实际上，每个机架支持的机架数量仅限于脊椎中的端口数。每个脊椎交换机最多可以有32个40G端口。我们为连接核心预留了一些上行链路，因此我们使用的数量是每个机架12个机架，即每个脊椎24个端口。一旦脊椎被填满，我们就开始伸展横向。这个图中显示了添加的另一个pod，以及连接到核心：缩放这种方式的网络输出带来了一个有趣的问题。所有的交换机都有其所能容纳的信息量的限制。这些是像MAC地址、ARPs条目和路由信息。在我们网络的核心部分，我们主要关心核心交换机可以存储的ARP条目的数量。我们在核心中支持的ARP的最大数量是256000。虽然这看起来是一个很大的数字（事实确实如此），但只有最大的交换机才能支持ARP表大小。使用区域这个问题的解决方案是把网络分成多个区域。每个机架都有自己的一组脊椎交换机，每个区域都有自己的核心交换机。在上图中展开，我们现在可以拥有一个类似下图的网络，它还包括边缘路由器，以显示两个（或更多）区域如何连接到每个区域其他。有这种设计，我们现在能够横向扩展网络。限制因素是边缘路由器上端口的可用性。因为这个数字相当大，这个设计将持续一段时间。每个不同级别的网络都使用40G接口连接，包括管理程序。在大多数情况下，这些都是使用聚合（802.3ad）配置的，因此带宽在某些情况下可以是80G甚至160G点。现在我们的设计很容易改造。我们只需在新的机架中构建网络，当它全部正常工作时，我们将新的核心连接到边缘路由器，在后端代码中做一些更改，新区域就开始运行了！这种新的40G设计是我们将在未来所有DCs中使用的，并且已经在FRA1、NYC1和NYC3中部署。在接下来的几个月里，我们还将把这个设计添加到另外两个地方。有了这种架构，数字海洋网络将能够继续扩展并服务于我们的客户多年过来，过来卢卡·萨尔瓦托