这篇文章是由我们在Skytree的朋友撰写的，他们的Skytree Infinity平台现在是"ApacheSpark认证的"到无穷远和更远——光速下的大数据天文学家在大数据出现之前就对大数据感兴趣。为了了解宇宙的历史，他们需要观测和记录数十亿个天文物体，并对由此产生的海量数据集进行繁重的分析。现有的预测方法无法扩展到他们所处理的数据集的大小，因此他们求助于Skytree，以获得前所未有的性能和准确性，以获得有史以来最大的数据集。快过去10年左右，以大数据分析为幌子，存储、访问、处理和分析天文数据集的需求现在已成为主流。我们从头开始构建了我们的高级分析平台Skytree Infinity，以提供一个超快速的平台，使我们能够在超大数据集上使用最先进和准确的机器学习方法，以提取可操作的见解和预测。此外，可用于大数据的基础设施已经成熟，可以提供可扩展和可靠的数据管理和处理能力。我们最先进的机器学习和可扩展的基础设施相结合，为大数据分析提供了一个前所未有的、易于使用的解决方案。Skytree Infinity与Apache Spark集成虽然SkyTreeInfinity的分析能力非常出色，但我们敏锐地意识到，需要轻松、无缝地集成到大数据分析工作流程的其他密切相关部分。apachespark项目引起了业界的广泛兴趣和采用。Spark为迭代处理和数据操作提供了一个非常适合机器学习的丰富平台。Skytree和Spark的结合为大数据分析提供了一个广泛可用的解决方案，为最具挑战性的业务问题提供了一个快速、可靠、可扩展和可管理的数据清理/咀嚼/分析平台。我们最近在这个方向上的产品是通过Databricks在apachespark上对企业机器学习平台skytreeinfinity进行认证。用户可以从多个来源（包括RDBMS、HDFS和Hive）访问数据，并通过Skytree Infinity使用Spark调用来执行最常见的以ML为中心的数据预处理、咀嚼和特征化任务，他们可以应用自己选择的高级机器学习方法，从中获得准确、可操作的预测和见解他们的数据。持续合作我们很高兴成为Spark社区的一员，我们也很高兴能探索这一新的整合所带来的新前景。欲了解更多有关Skytree Infinity的信息，请访问我们的网站：免费试用Databricks。今天就开始吧