对讲机的任务是使互联网业务个性化。但是当你的产品坏了的时候不可能是私人的。正常运行时间对我们业务的成功至关重要，这不仅是因为我们的客户在付钱给我们，还因为我们严重依赖我们自己的产品。如果我们的产品出现故障，我们会深切感受到客户的痛苦。正常运行时间受许多因素的影响，例如软件体系结构和日常操作的质量。然而，通常情况下，它归结为有一个人随叫随到，响应来自PagerDuty的警报。像这样的随叫随到工作可以是一个强大的以客户为导向的活动，它将工程师与客户从您的产品中获得的价值联系起来。它也可以是一个很好的学习和成长机会——毕竟，停机和错误可能是需要理解和纠正的复杂事件。在工作时间外随叫随到对你的生活有着本质上的破坏但同时，在工作时间外随叫随到对你的生活本身就是一种破坏。你需要准备好对某个东西被破坏的警报做出迅速而有效的反应。即使没有被传呼，随叫随到也会产生焦虑——从我个人的经验来看，即使没有什么东西真的会打破睡眠。经常随叫随到会导致精疲力尽、冷漠或是一种永远不想再看到电脑的愿望。对讲机历史通话早在内部通信的早期，我们的CTO Ciaran是随叫随到团队的全部成员，无论是办公室内还是办公室外。随着对讲机的发展，我们组建了一个运营团队来帮助西亚兰渡过难关。不久之后，新的团队开始构建许多新的特性和服务，并且他们承担了全部随叫随到的责任。随时待命的人太多了这在当时感觉很自然，因为这是一种轻量级的方式来扩展我们的随叫随到的团队，并且符合我们强调所有权重要性的价值观。没有刻意的计划，我们最终得到了四五个团队，他们经常在下班时间被传呼。剩下的产品团队有一些警报，很少，如果有的话，会导致超时页面。我们意识到，物联网智能水表，我们最终得到了一个我们并不引以为傲的随叫随到的设置，并且有许多我们想要解决的关键问题，例如：在任何时候都有太多的人随时待命——我们的基础设施不太庞大，淘客推广联盟，至少需要五名工程师在周末被打乱。我们的警报和随叫随到程序的质量在各个团队之间不一致，我们对新的和现有的警报使用特别的审查流程。运行手册（当警报响起时要遵循的程序）大多因为没有它们而引人注目。人们对工程师的期望不一致，这取决于他们最终在哪个团队工作。例如，只有最初的运营团队对随叫随到的轮班有任何形式的补偿，物联网断路器，而不是代替休假。对于不必要的非工作时间页面，人们似乎有一个普遍的容忍度。最后，不是每个人都适合做这种工作。生活环境可能意味着随叫随到的轮班对某些人来说太具破坏性了。找到正确的随叫随到流程我们决定创建一个新的虚拟团队，返利购物，让每个团队在非工作时间随叫随到。这个团队将由志愿者组成，而不是来自工程组织中任何团队的应征者。工程师们在完成了几个星期的随叫随到，大约六个月后就会轮换离开虚拟团队。谢天谢地，我们没有遇到任何问题，让足够多的志愿者来组建虚拟团队。我们的随叫随到从分布在30多名工程师变成了6、7名然后，团队同意并定义了可接受的警报和运行手册，并描述了将警报转移到新的随叫随到团队的验收过程。他们用Terraform模块在代码中定义了我们所有的警报，并开始对每一个更改使用同行评审。我们制定了一个补偿水平，我们很高兴接受一周的随叫随到的轮班。我们还创建了一个由工程经理组成的"2级"升级团队，作为随叫随到工程师的单一升级点。我们花了几个月的努力才完成了整个过程，我们的随叫随到从30多名工程师到6、7名。我们的工程团队仍然会在办公时间进行随叫随到，因为他们的功能和服务往往是在办公时间最容易出现问题的时候，但我们的外出随叫随到完全由一组专门的志愿者负责。我们学到了什么在我们启动了虚拟随叫随到团队之后，我们期望在随叫随到的轮班之后进行大量的后续工作，例如研究警报的原因，并合作解决导致页面出现的问题。然而，我们的工程团队对引起页面的任何东西都拥有很强的所有权，并且任何后续行动通常都会迅速采取行动。我们也不必威胁核武器的选择，云服务器好吗，因为缺乏后续行动，我们把警报传回了最初的小组，并迫使他们在下班后再次随叫随到。非工作时间页面的数量已经下降到每月不到10页我们的正式上报流程很少使用。一种更常见的情况是，随叫随到的工程师得到了当时正好在线的工程师的非正式帮助，特别是来自我们旧金山办事处的工程师。许多问题已经通过动态协作和团队合作得到修复或缓解。我们旧金山办事处的工程师已经完全加入了这个团队，并不仅仅是临时支持。虽然有一定程度的额外开销，但将团队成员分散到多个办公室对我们来说非常成功–这是建立关系和深入了解我们共同工作的技术堆栈的一个很好的方法。作为对讲机工程师的经验现在在我们的团队中更加一致，我们可以自信地在我们的职业网站上宣传系统工程师的职位，声明不需要随叫随到，除非你真的想这样做。随着稳定和扩展我们的数据存储的基础工作，对解决页面的一贯关注导致了非工作时间页面的数量下降到每月不到10个，这是我们非常自豪的数字。我们将继续努力维护和改进我们的随叫随到的团队，随着内部通信的发展，我们可能需要重新考虑决策——今天有效的方法在下一次我们的团队规模翻番时可能行不通。也就是说，这项工作对我们的工程组织非常积极，显著提高了我们工程师的生活质量、随叫随到的响应质量，尤其是客户体验。