Cloudflare的运营规模很大，每月通过我们的网络处理将近10%的Internet HTTP请求，峰值时超过25万亿个请求。为了确保这一点尽可能高效，我们拥有并运营全球154个地点的所有设备，以处理通过我们网络的流量。我们花了大量的时间来规范和设计组成我们网络的服务器，以满足我们不断变化和不断增长的需求。每隔一段时间，我们将学习到的有关上一代硬件的所有信息，并用下一代硬件更新每个组件……如果上面这段话听起来很熟悉，那么这是对我们5年前使用今天的数字所做的反映。这些年来，我们一直在努力让自己变得更聪明，我们用最新的技术开发了我们的工具是的。这里尽管我们要在博客上肌肉。自从上一次我们在博客上讨论我们的G4服务器时，我们在过去5年中每一代都迭代了一代。我们的最新一代是G9服务器。我们的G9服务器由12个Intel Sandybridge CPU内核组成，拥有192个Intel Skylake CPU内核，可以处理Cloudflare网络上的负载。此服务器是QCT的T42S-2U多节点服务器，每个机箱有4个节点，因此每个节点有48个核心。最大化计算密度是首要目标，因为租用托管空间和电源都很昂贵。这款2U4N底盘的外形在过去的3代中为我们提供了很好的服务，我们将重新考虑这一选项更多。爆炸G9服务器主要组件图片。4个底座代表4个节点，每个节点有2个24核Intel CPU每一个高级硬件组件都经过了自己的升级，实现了一个平衡的扩展，使我们的堆栈CPU受到限制，使这一代成为我们5年前从使用HP开始的最彻底的修订。让我们看一眼组件。硬件先前的变化：2x 12核Intel Xeon Silver 4116 2.1Ghz 85W低：2x 24核Intel定制off roadmap 1.9Ghz 150W我们基础设施的性能很大程度上取决于在给定的物理空间和功率中我们能压缩多少计算。从本质上讲，每瓦每秒请求数（RPS）是衡量高通公司ARM64 46核Falkor芯片相对于英特尔Skylake 4116有很大优势的一个关键指标。英特尔提议与我们共同创新一款专为我们的工作负载量量身打造的非路线图24核Xeon Gold CPU，在每瓦性能上具有相当大的价值。对于这一代人，我们继续使用Intel作为系统解决方案，因为我们正在努力实现ARM64对生产的好处。我们希望这种CPU能够立即以每瓦更好的RPS运行；将核心数量翻倍，RPS提高200%，CPU TDP从85W增加到150W，功耗增加174%以前的每个.disk：6x Micron 1100 512G SATA SSD低：6x Intel S4500 480G SATA SSD，满足我们对G9的所有需求要进行处理，我们需要驯服我们在以前的固态硬盘中看到的外围和长尾延迟。降低p99和p999延迟是一项严肃的努力。为了节省0.01%甚至0.001%的磁盘响应时间，我们所看到的流量可不是开玩笑！英特尔S4500中的数据中心级固态硬盘将使我们的车队激增。这些磁盘具有更好的耐用性，能够在服务器的预期使用寿命内持续使用，并且在较低的p95+下具有更好的性能一致性延迟.network以前：双端口10G Solarflare Flareon Ultra SFN8522现在：双端口25G Mellanox ConnectX-4 Lx OCPOur DDoS缓解计划全部在用户空间完成，所以只要支持XDP，网络适配器型号可以是市场上的任何产品。我们选择了Mellanox，因为其可靠的可靠性和随时可用的2x25G CX4型号。由于10G SFP+以太网端口与25G的SFP28具有相同的物理外形，因此升级到25G机架内以太网很容易经得起未来考验。交换机和网卡供应商提供的型号可以配置为10G或25G。另一个变化是适配器的外形尺寸本身是OCP夹层，而不是更传统的薄型卡。QCT是一个服务器系统集成商，参与了开放计算项目（opencomputeproject），这是一个非盈利组织，由Facebook、Intel和Rackspace建立了一个开源硬件生态系统。它们的T42S-2U主板每个都包括2个pciex16gen3扩展插槽：1个适用于常规I/O卡，1个用于OCP夹层。外形尺寸的变化允许我们占用OCP插槽，而不占用常规插槽，以便集成其他可能没有OCP外形尺寸的东西，如高容量NVMe SSD或GPU。我们希望我们的服务器有升级的空间，如果需要。两者都需要薄型和OCP适配器提供相同的吞吐量和特性G9机箱背面显示所有4个底座节点，每个节点留有空间添加PCI卡值得一提的是：192G（12x16G）DDR4 2400Mhz RDIMNOW:256G（8x32G）DDR4 2666Mhz RDIMM从192G（12x16G）变为256G（8x32G）具有实际意义。主板有12个DIMM通道，这些通道都安装在G8中。我们希望有能力升级以防万一，以及保持内存配置平衡和最佳带宽容量。8x32G工作良好，有4个通道可供将来使用升级。物理压力测试我们的软件堆栈可以很好地扩展，因此我们可以有信心地假设，与G8相比，我们的CPU内核数量将是G8的两倍。我们需要确保的是，在我们将G9服务器运送到我们目前的154和未来的POP之前，不会有任何与热或电源故障有关的设计问题。在极端情况下，我们所有的核心运行100%负载，这会导致我们的服务器运行超过工作温度？一个拥有192个核、总容量为1200W的TDP的服务器需要消耗多少功率？我们通过对整体进行压力测试来记录两者系统温度从ipmitoolsdr列表中记录读数，然后用图表显示插座和主板的温度。由于2U4N是一个紧凑的外形，所以有必要监视一个运行热的服务器实际上并不是热的。红线代表组成整个测试中的G9服务器的4个节点；蓝线代表G8节点（我们没有强调G8，所以它们的温度读数是恒定的）。这两个图看起来都很好，而且没有失控，这主要归功于T42S-2U的4个80mm x 80mm风扇，能够吹90 cfm以上；我们设法达到了他们的最高规格转速记录新系统的最大功耗是我们正确设计机架堆栈所需的关键信息，选择正确的配电单元，确保低于预算功率，同时保持适当的相位平衡。例如，一个典型的三相美国额定24安培PDU为您提供8.6千瓦的最大额定功率。如果每个服务器都以1kW的速度运行，而没有任何方法限制它们，我们将无法安装9台由相同PDU供电的服务器。右上图显示了我们的最大功率为1.9kW作为红线，或者粗略地说每个节点475W，这在现代服务器中非常出色。注意蓝色和黄色的线代表G9的2个电源的总和总功率。在我们的测试程序中，黄色的PSU显示关闭是有意的，以显示PSU在突然功率下的弹性变化。压力所有可用的CPU、I/O和内存以及最大化风扇RPM的组合是该服务器能够达到的最大可能热量和功率消耗的一个很好的指示器。希望我们永远不会在实际生产环境中看到这样的极端情况，我们期望实际结果会更温和（阅读：我们不认为灾难性的失败是可能的）。现场生产的第一印象我们增加了G9服务器的容量，使之成为我们负载最大的POP之一。下面的时间图显示了G9与G8在现场的性能比较的24小时范围爸爸。太好了! 与G8相比，他们处理的请求是G8的两倍多，CPU使用率降低了10%。请注意，这里的所有结果都是基于非优化系统的，因此我们可以在G9上增加更多的负载，并使它们的CPU使用率与G8相当。另外，他们用更好的CPU处理时间（nginx执行时间）来完成这个任务。当我们接近99.9p时，你可以看到代际间的潜伏期差距在扩大长尾潜伏期对于NGINX CPU处理时间（越低越好）说到延迟，让我们看看我们的新固态硬盘在这方面的表现正面：缓存磁盘IOPS和延迟（越低越好）目前的趋势仍然是G9表现更好。G9的固态硬盘没有看到这么多的IOPS是件好事，因为这意味着我们不再像以前那样频繁地访问缓存磁盘，并且能够在CPU和内存上存储和处理更多的数据。我们将读缓存命中率和延迟降低了一半。更少的写入操作会带来更好的性能一致性和长寿。又一个G9做得更多的指标是功耗，比G8高出约55%。虽然这不是一个值得吹嘘的信息，但当旧的CPU曾经被评为85W TDP，现在使用的是150W TDP；当考虑到G9服务器的工作量时：G9的能效实际上比G8高1.5倍。温度读数也进行了检查。入口和出口机箱温度以及CPU温度都在运行范围内温度。现在那是肌肉！换句话说，对于每3台G8服务器，只有2台G9服务器承担相同的工作量。如果我们的一个机架通常有9个G8服务器，那么我们可以只使用6个G9服务器来更换这些服务器。相反地，如果我们设计了15个G8机架，那么我们将使用10个G9机架来替换这些机架！我们计划用G9服务器覆盖我们的整个网络，其中大部分服务器计划用于您网站最有可能使用的现有城市。到2019年，您将受益于增加带宽和缩短等待时间。我们将受益于更快、更多地扩展和建立数据中心高效。什么下一个？X世代？现在是激动人心的时刻