将应用程序迁移到云端通常需要大量的规划，但一些应用程序（如数据密集型、紧密耦合的高性能计算（HPC）应用程序）带来了特殊的挑战。HPC的数据增长过去受到计算能力的限制，但现在数据来自更多的来源，云计算和大数据的区别，包括传感器、摄像机和仪器。数据的增长速度超过了计算机处理、网络吞吐量和存储性能的相应改进。这给AI和ML算法带来了麻烦，它们需要保持并处理这些数据以获得见解。这种数据增长意味着许多传统的HPC内部数据中心必须开始将至少部分应用程序负载迁移到云中。

考虑到所有这些，Google cloud和DDN开发了一个适合HPC的云内文件系统：DDN的EXAScaler，折扣返利，一个专为处理高并发访问模式而设计的并行文件系统共享数据集。这种I/O模式是紧耦合HPC应用的典型，例如天体物理学或金融领域的计算模拟。DDN在为最具挑战性的数据密集型应用程序部署大规模数据解决方案方面提供专业知识，谷歌在提供全球规模的数据中心解决方案方面提供专业知识。

EXAScaler是DDN的品牌Lustre产品。Lustre是一个开源文件系统，在商业和研究环境中具有超过15年的稳定性和性能。Lustre的性能很好，但是调整它以获得最大的效率是很有挑战性的。谷歌和DDN最近使用了IO-500这一顶级HPC存储基准来展示联合系统的易用性。

在HPC存储挑战者中竞争IO-500是一个新兴的HPC存储基准，物联网公司，它试图通过基于广泛的存储特性计算分数来捕捉HPC存储系统的全貌，而不是捕获一个狭窄的性能维度（如顺序读取性能）。IO-500竞赛旨在为用户提供切合实际的性能预期，并帮助管理员选择下一个HPC存储系统，实时数据采集系统，它每年发布两个排名榜：一个是11月在美国举行的超级计算（Supercomputing）首映式HPC大会上，另一个是6月在欧洲同类会议ISC上。我们很高兴第一次参加这个竞赛，以展示使用这个联合解决方案是多么容易。

我们的最佳配置在IO-500上实现了#8，并且仅受我们分配的资源的限制（下次我们将要求更多）。这一成功表明，现在任何人都可以部署高端存储系统，而不仅仅是那些拥有大量预算和丰富专业知识的存储系统。

使用EXAScaler的关键好处确实在基准测试过程中体现出来：

最后，大数据调研报告，Lustre on Google Cloud是列表中唯一的现收现付存储系统，因此系统只是每秒运行基准测试的成本（大约一小时）。如果IO-500包含每个系统的成本，那将是非常有趣的，因为在许多情况下，价格和性能之间的平衡对于用户来说比原始性能更重要。