随着越来越多的人在游戏、国际象棋和机器人技术中看到了强化学习的惊人表现，物联网产品，强化学习在机器学习领域已经变得非常流行。在之前的博客文章中，我们已经向您展示了如何在人工智能平台上运行RL算法，利用Google强大的计算基础设施和智能管理的培训服务，如贝叶斯超参数优化。在本博客中，私有云市场，我们将介绍进化策略（ES），并展示如何在Google Kubernetes引擎（GKE）上运行ES算法。最近，ES被证明（即1，2）是RL处理各种挑战性任务的一个很好的选择。具体地说，ES的两个众所周知的优点是绕过噪声梯度估计进行策略优化，大数据应用，以及其鼓励分布式计算带来更快收敛的性质。虽然ES最早是在60年代开发的，具有易于扩展的优点，但直到最近研究界的开源项目（即Salimans et al.2007）才证明，将ES扩展到大量机器上可以获得与SOTA RL算法相竞争的结果。因此，越来越多的深度学习研究人员一直在探索如何将基于进化的算法融入到最近的研究中（即1、2、3、4、5）。
证据表明，投入更多精力构建更好的基础设施来扩展进化计算算法将促进这一领域的进一步进展，然而，很少有研究人员是大规模系统开发的专家。幸运的是，在过去几年中，Kubernetes等技术的发展使得非专业程序员更容易部署分布式计算解决方案。作为Kubernetes如何用于部署可伸缩进化算法的演示，在这篇博文中，我们将探讨如何使用Kubernetes作为一个平台来轻松地扩展进化算法。我们在这里提供了代码和说明，希望所有这些都能作为ML研究人员在GKE上试用ES的快速启动，AI平台使用容器提供分布式训练，容器使用ML框架，支持类似TensorFlow的分布式结构。它主要用于异步模型训练，而ES中的分布式计算则有不同的用途，正如您将在下一节中看到的。
进化策略101
ES是一类黑盒优化；它对于ML任务非常强大，用云服务器，其中基于梯度的算法在底层任务/函数没有梯度时失败，淘客采集软件，计算梯度的复杂度很高，噪声很强嵌入梯度估计防止学习等问题。作为一个例子，想象一下站在下图左侧所示地形上的一个点上。你的任务是蒙着眼睛导航到地形的最低点。你得到了一些魔法珠，它们是你与环境互动的唯一方式。
