今天，协调世界时16:13，大量流量开始冲击我们的洛杉矶数据中心。我们有一个内部团队，全天候监控我们的网络，他们的所有警报都立即关闭。我们最初认为这是一次非常大规模的袭击。事实上，要解决这个问题要复杂得多。背景CloudFlare广泛使用Anycast路由。这为我们提供了非常大的容量来阻止巨大的DDoS攻击。挑战在于管理路由以确保流量到达正确的位置。CloudFlare购买带宽，通过所谓的传输提供商连接到互联网。我们从2010年开始使用的第一家运输供应商是一家名为nLayer的公司。这些年来他们一直是一个很好的合作伙伴。去年，nLayer与GTT合并。然后，大约一个月前，GTT/nLayer购买了inteligent（又名TINET）。在过去的几周里，GTT/nLayer一直在与intellicent整合他们的网络。当这项工作完成后，GTT/nLayer将从一个t2网络提供商转变为少数几家一级网络提供商之一。颠簸今天的问题是这种迁移的间接结果。GTT/nLayer之前连接到Global Crossing，另一家大型交通服务提供商，现归Level3所有。作为GTT/nLayer/intelligent整合的一部分，Level3将一条路由切换到Global Crossing和GTT/nLayer的路由之间，而改为Level3和GTT/nLayer之间。对于大多数非Anycasted流量，这不会造成任何干扰。在我们的例子中，它把通常会袭击美国和欧洲东海岸数据中心的大量流量转移到了我们在洛杉矶的设施。在最坏的情况下，这导致洛杉矶的一些机器过载，返回502个网关错误。其他访问者可能已经看到包丢失和连接缓慢，因为一些链接已饱和。目前尚不清楚问题的起因。我们直接与GTT/nLayer的网络团队合作，重新平衡流量，这暂时给西雅图、达拉斯和芝加哥带来了额外的负担。虽然通常只有受影响数据中心附近的客户才会看到问题，但在这种情况下，远在欧洲的流量却落在了错误的地方。不管游客是否受到影响，这都是一个废话。我们使用多个传输提供商，因此，如果您的ISP没有连接到Level3，并且您不会自然而然地遇到过载的数据中心，那么您可能不会发现任何问题。总体而言，我们估计大约10%的网络连接在大约20分钟的时间内受到影响。一小部分用户可能在较长时间内看到问题的影响，这取决于他们与Level3的连接，以及他们是否被拉到多个受影响的位置。责任Level3或GTT/nLayer无法知道他们对系统所做的更改将如何影响我们的下游。虽然这是一个非常棘手的情况，我们预测，甚至诊断它发生时，我们的责任是确保我们的路线是正确的地点，并没有任何设施负担过重。我们已经将这种情况添加到我们要防范的条件中，这样类似的上游变化在将来不会影响到我们。GTT/nLayer迁移定于今天完成。连接到第1层提供商的好处之一是路由稳定性。虽然今天的网络问题是痛苦的，但我感到鼓舞的是，这个问题的根本原因是为了建立一个更强大、更稳定、更可靠的网络。