编者按：奥托集团成立于1949年，如今是一家活跃于全球的零售和服务集团，大数据如何处理，拥有约51800名员工，云淘，营收137亿欧元。今天，商业智能专家Mahmoud Reza Rahbar Azad博士和Mike Czech描述了他们构建的一个开源工具，用于直接在Google云中运行基于bash的数据处理脚本。继续阅读，淘客助手，了解他们为什么构建它，如何构建它，以及您如何在自己的环境中使用它。

我们奥托集团的商业智能部门为在线零售商（如IBM）构建机器学习和数据驱动产品奥托德或者关于you.de，以增强我们客户的用户体验。其中一部分是我们最近迁移到Google云平台（GCP）的大数据湖。作为数据工程师，我们有时需要执行数据处理工作。由于这些工作可能需要很长时间或需要大量的计算能力，我们不想在本地机器上或通过web前端执行这些任务：我们想要一个使用GCP全部功能的工具。

几个月前，我们了解我们的要求，但找不到一个好的工具来满足这些要求。因此，便宜的云服务器，我们自己构建了它：在最近的一个内部黑客攻击日，我们编写了CLoud bASH，或CLASH，它将bASH脚本作为输入，并在云环境中简单地运行它。

在云环境中运行可伸缩的数据处理脚本

在深入了解细节之前，物联网应用，让我先给您介绍一下我们的工作和应用背景正如上面提到的，我们需要一个将bash脚本作为输入并在云环境中运行的工具。用户应该可以选择等待结果，或者在作业完成时异步通知。如果用户等待结果，则脚本中的日志消息应转发到用户控制台，用户可以取消作业执行。这个特性在快速开发迭代周期中非常有用。

下面的图片说明了我们大致的想法。