Stripe使用Amazon Web服务为我们的基础设施提供动力。使用AWS，我们可以实时动态地扩展我们的服务器群。这种弹性使我们能够可靠地为快速增长的用户群提供服务，并随着他们的业务规模不断扩大。我们使用AWS保留实例，这使得我们能够预测我们的云开销，给定一个具有快速变化的计算需求的动态车队。云计算中最大的问题之一是容量规划：预测计算能力需求和管理分配给AWS服务器的预算的能力。在Stripe，我们一开始只使用保留实例来管理单个实例的定价，但现在，随着车队随时间的变化，我们可以动态、可靠地了解成本。保留实例使我们能够通过仔细的资源管理来做出经济高效的决策。我们已经开发了一个易于使用的框架来自动化我们的购买决策，我们将在这篇文章中概述。保留实例降低了AWS的定价（因为它们承诺使用该服务器）。使用保留实例最经济的方法是确保全年服务器利用率高于70%；这是盈亏平衡点，选择保留实例比按需实例更经济。这也符合Stripe的使用模式。保留实例很难有效购买。很容易分配错误的数字，而且很难预测未来的计算需求。在云策略、垃圾箱打包和容量规划的关系中，决定要购买哪些和多少个保留实例是一项非常重要的工作。了解AWS保留实例每个保留实例的购买都有许多维度，其中一些维度超出了本文的范围。有些您可能已经知道了，比如AWS区域、VM租赁和OS平台。其他选项，如合同期限、定价计划和保留实例的类型，都与您公司的云策略有关。你需要知道你未来几年的财务计划是什么样子，才能做出这些商业决策；工程师提供的技术指导只能提供有限的视角。在Stripe，我们通常不使用期限为三年的可转换预留实例。这意味着我们的定价是：无需预付：我们按正常的计费周期按月付款。Convertible：我们可以为我们的预订更改实例类型。期限：我们锁定一个定价计划并承诺三年。我们认为这在价格效率和灵活性之间提供了正确的权衡。在剩下的维度中，最具影响力的决定是范围。作用域是附加保留实例的AWS区域或可用性区域。范围的选择会影响容量规划、保留实例的部署和服务器升级。在Stripe的例子中，我们使用区域范围保留实例。如果选择将保留实例的范围限定为特定的可用性区域，则它们将被锁定到特定的实例类型。这需要您从两个维度理解和规划计算需求：实例类型（例如c5.2xlarge）定义了每个实例的功能。这被称为垂直扩展，因为随着时间的推移，您可以在不增加实例数量的情况下升级每个服务器的计算能力。可用性区域是您计划部署实例的位置。跨可用性区域添加更多实例可增加水平扩展。运行的服务器越多，应用程序在发生故障时继续运行的可能性就越大。这些要求您预测应用程序负载将如何增长，以及未来几年集群的密度。任何计算错误都意味着您将为您实际上不会使用的保留实例付费。计算能力随每个实例的大小而变化：例如，AWS上的9个c5.xlarge实例提供的计算机能力相当于一个c5.9xlarge实例。AWS将其基础设施划分为几个区域，其中包括许多可用区域。如果您选择更广泛地按区域划分保留实例的范围，AWS允许您部署任何大小的实例，只要计算能力与您所保留的相匹配。这允许您预先购买高性能实例，并在以后部署低性能实例。更好的是，AWS会自动将分配给保留实例的预算应用于该区域中尽可能多的实例。自动化AWS容量规划要采用保留实例，首先需要估计集群的总计算需求。这是容量规划中最难的部分。AWS定义了所有服务器大小的计算能力的比例：我们可以使用它来计算聚合值。（下面我们提供了一个可以生成此报告的SQL查询示例。）使用AWS cost and usage report（AWS成本和使用情况报告）对您的车队进行快照，该报告存储在Redshift表中。您应该按实例族对用法进行分组。将每个实例族的总计算能力相加。报告中的每个费用都包含一个您应该汇总的按比例计算的使用量。选择将用于保留实例的标准实例大小。将总计算容量除以其比例因子（例如，xlarge实例的比例因子为8.0）。结果就是要购买的保留实例的数量。我们在这里计算的预算应该提供足够的计算能力来驱动你的车队。通过选择regional scope，我们很自然地定义了所有保留实例的三个属性：作用域、实例大小和实例族。一旦我们决定了一个确切的配置，我们在AWS控制台中执行购买操作，保留实例的定价将立即应用于我们的车队。因为我们的机队可以动态地增长、缩小或改变计算需求，所以我们需要更灵活地设置要购买的保留实例的目标数量。相反，我们选择一个可接受的范围来混合使用我们的舰队中的保留和按需实例。为了实现这一点的自动化，我们用SQL和Python构建了一个ETL过程，它可以检测我们何时超出了这个范围，并自动准备购买以供批准。这是一个常青的过程：随着机队在计算需求上的动态伸缩，ETL过程将继续分析和建议购买。我们每月购买一次保留实例。下面是一个SQL查询的示例，我们经常运行该查询来估计所需的计算能力。首先，我们用成本和使用报告对车队进行快照：行项目为(选择lineitem_normalizedusageamount:：float/8.0作为用法，作为地区产品，将_part（产品实例类型，'.'，1）拆分为实例族，lineitem_lineitemtype AS itemtype从成本和使用率201806--使用您的成本和使用报告其中lineitem_productcode='AmazonEC2'AND lineitem_lineitemtype IN（'Usage'，'DiscountedUsage'）和产品实例类型''和行项目\u normalizedusageamount""AND date_trunc（'hour'，lineitem_usagertDate:：timestamp）=日期\u trunc（'天'，当前日期'）-间隔'4天')接下来，我们从车队的总使用量中选择现有保留实例的相关使用数据：用作(选择region、instance\u family、SUM（usage）作为total，SUM（CASE itemtype，当'DiscountedUsage'然后使用结束）作为res从行项目按区域分组，实例\u族)最后，我们计算需要购买的额外保留实例数，以保持在可接受的范围内：选择地区，例如峎家族，楼层（NVL（res，0））作为标准化的预订，地板（NVL（总计，0）），作为标准化的使用，地板（当res/总计不在0.70和0.80之间时，则0.75*total-res-ELSE 0-END）关于采购从使用按地区排序，实例嫒族一个完整的例子，包括一个Python笔记本来呈现输出，可以在本文附带的要点中找到。结束使用这种方法，您可以以一种可预测的方式自动预算保留实例，并动态地重新计算您的计算需求。这个过程可以提高你的AWS机队的灵活性、成本可预测性和效率。以下几点要记住：选择一个团队来解决这个问题。由于这是整个工程组织的一个全局优化，没有一个单独的团队有必要的视角来理解整个AWS需求。将一个团队投入到这个问题上，可以让他们收集组织云使用的完整情况，并了解如何有效地应用保留实例。在购买保留实例时，请选择一个标准实例大小。即使您选择的大小大于单个应用程序的预期容量，在实例族之间比较相同的大小并了解定价和计算效率也会更容易。为今天的计算需求选择保留实例。与其选择保留实例来预测您计划如何扩展您的舰队，不如对您今天如何使用您的舰队进行一个清晰的快照。购买达到目标所需的保留实例数。然后继续频繁而持续地购买。喜欢这个帖子吗？加入条纹工程团队。视图洞口