我们的许多客户以前都是从本地数据处理环境迁移过来的，公司自助建站，在这种环境中，淘客商城，他们必须为自己的数据操作大型处理节点群集和大型存储设施。基础设施管理是他们为最先进的数据处理支付的一项税收。CloudDataflow是第一个为批量和流式大数据工作负载开发无服务器计算的公司。我们扪心自问：我们如何进一步减少妨碍关注应用程序逻辑的操作开销？由此产生的体系结构基于单独的计算层和状态存储层，有助于批处理和流式数据流管道更好地扩展和执行。它还在两者之间引入了一个分布式洗牌层。由于数据流洗牌可用于批处理管道，数据流引擎可用于流式管道，我们为所有客户提供了这种新的分布式洗牌体系结构。

让我们考虑一下为什么洗牌是大数据处理的核心组件。假设您有一组键值对。您希望按键对其进行分组，或按键将其与另一个数据集联接。当您只有一台数据完全驻留的机器时，您只需按键对内存或磁盘中的数据元素进行有效排序，然后运行分组或联接。但是，当您进行分布式处理时，返利是什么，数据驻留在连接到不同处理节点的多个卷上，这就不那么容易了。一个典型的结果是将与特定工作节点上的特定键相关的所有键值对放在一起，然后执行分组。为了实现这一点，返利淘客，企业信息化软件，这些键值对需要在处理节点之间进行物理移动，这个过程称为"洗牌"