这篇文章是由我们在Talend的朋友在Talend Studio"ApacheSpark认证"后撰写的随着向下一代集成平台的发展势头越来越大，实施经验证且可扩展的技术的需求至关重要。Databricks和apachespark，在主要的Hadoop发行版上交付，是交付具有低风险实现的大规模可伸缩技术的关键所在。在Talend，我们可以看到大量的批处理过程，这些过程都是由数据的消费者驱动的，从操作和实时的角度来看。在这种情况下，apachespark（强大的开源处理引擎）的采用率和不断增长的社区是很难错过的。在相对较短的时间内，它现在已经成为每个主要Hadoop供应商产品的一部分，是大数据领域中最活跃的开源项目，并已在多个垂直领域部署到生产中。传统的ETL和企业集成在提取的及时性、加载速度以及集成基础设施本身的可支持性方面都存在局限性。Spark提供了一个新的执行拓扑，允许您的大数据平台交付的不仅仅是传统的hadoopmapreduce任务。整合Spark和Talend Studio的优势在于，Talend用户可以直接从熟悉且易于使用的Talend Studio界面直接利用Spark的强大功能、所有80+操作和复杂的分析。通过Talend及其独特的代码生成方法，可以为您管理在Spark中加载数据和执行查询所需的代码。设计者只需识别数据，Talend就可以提供工具，在正确的时间以正确的格式将数据传递到所需的Hadoop环境中。此外，我们很高兴与Databricks一起宣布，Talend Studio现已正式获得"Spark认证"。有了Talend 5.5的认证，就可以保证使用Talend创建的集成作业的互操作性，以及它在任何经过认证的Spark发行版上的执行。这也意味着，作为一个技术用户，您可以从平台的强大功能中获益，而无需维护您自己的组件升级、更新和作业的持续重构的详细路线图—Talend为您管理这些。更广泛地说，Talend还支持认证过程的开放性和透明性，旨在保持Spark生态系统内的兼容性，同时鼓励平台和应用层的创新。最终，与巴黎Spark技术解决方案紧密结合，最终与TAL-Labs的关键功能集成。这意味着用户有一个功能齐全的起点，可以从Talend获得并通过Spark验证，让您开始您的旅程。图1:Talend Studio和SparkTalend一直在根据其主要合作伙伴和大数据生态系统不断改进其认证，Spark也不例外。随着这个快速发展的项目，重要的特性和改进正在迅速推出。Talend致力于支持Spark，并将迅速进行认证，确保与未来Spark版本兼容。免费试用Databricks。今天就开始吧