这篇文章是由我们在Hortonworks的朋友们客串撰写的，宣布围绕apachespark与Databricks建立更广泛的合作关系。在Hortonworks，我们对apachespark和apachehadoop的新兴用例和潜力感到非常兴奋。Spark只是数据领域正在向内存优化处理转变的一个代表，当与Hadoop结合时，就可以实现新一代的应用程序。我们很高兴地宣布，Hortonworks和Databricks已经将我们的合作重点从提供认证的Spark发行版扩展到包括一个共享的愿景，进一步将Apache Spark作为Hortonworks数据平台的企业级组件。我们的战略和愿景是将100%的开源软件推向市场，并支持客户的使用案例。让我们各自社区的两位领导者走到一起，对社区和客户都是有意义的。再加上Databricks在Apache Spark方面的专业知识，再加上Hortonworks在构建完整的企业Hadoop数据平台方面的专业知识，我们能够更好地设计出满足企业大数据处理需求的解决方案。从Hortonworks的角度来看，我们的观点是非常一致的：能够在单个企业Hadoop数据平台中针对共享数据集同时运行各种批处理、交互式、实时数据处理应用程序。我们相信，利用Spark的应用程序可以从将其作为Hortonworks数据平台内的本机集成引擎中受益匪浅：与YARN集成，并由一组通用的安全、运营和治理服务支持。2014年6月，我们在Hortonworks数据平台上批准了Spark应用程序开发的标准开放API集，使其成为认证的Spark发行版。这使开发人员能够在这个新引擎上构建应用程序，同时使运营商能够利用公共数据平台（Hadoop）。我们正在扩大我们的合作伙伴关系，包括承诺利用Databricks在以下领域进行投资：工程：Spark优化在纱线上，使基于Spark的应用程序能够共享资源并与其他工作负载一起运行，无论是批处理还是流式处理。另外，将Spark与Hortonworks数据平台/apachehadoop的安全、操作和治理组件集成，提供了经过充分测试和企业级支持的现代数据平台。客户：Hortonworks和Databricks将共同合作，为我们的客户支持Spark和Hortonworks数据平台的使用。开源基金会：我们在与开源社区合作和提供创新方面有着共同的愿景，创新将进入上游项目，然后作为企业级软件交付。我们期待着与Databricks团队合作，在Hadoop上进一步启用Spark。免费试用Databricks。今天就开始吧