首届欧洲火花峰会将于10月27-29日在阿姆斯特丹举行。查看完整的日程安排，在票卖完之前拿到票！我们很高兴地宣布ApacheSpark的1.5.1版本已经发布。spark1.5.1是一个维护版本，包含了80个不同组件的bug修复，包括核心、数据帧、SQL、YARN、Parquet支持、ORC支持。您可以在Spark JIRA上找到错误修复的详细列表。我们强烈建议所有1.5.0用户升级到此版本。如果您是Databricks的客户，我们已经升级了spark1.5包，因为我们修复了bug，因此您已经从1.5.1中的所有工作中获益。只需在集群创建界面中选择"spark1.5"。我还想借此机会回答一个很常见的问题：Spark的版本号（例如1.4.0 vs 1.5.0 vs 1.5.1）是什么意思？Spark版本号是什么意思？从spark1.0.0开始，每个Spark版本都由一个3部分组成的版本号：[major].[minor].[maintenance]。第一部分，主版本号，用于指示API兼容性。除非明确标记为实验性的，面向用户的api应该在整个主要版本中向后兼容。也就是说，从API的角度来看，如果您的应用程序是针对Spark 1.0.0编程的，那么这个应用程序应该能够在所有Spark 1.x版本中运行，而无需任何修改。第二部分，次要版本号，指出了在不改变现有面向用户的api的情况下带来新特性和改进的版本。目前，Spark每3个月发布一个新的小版本。例如，Spark 1.5.0在9月初发布，您可以预期Spark 1.6.0将在12月初发布。第三部分是维护版本号，它指出了主要针对同一个次要版本的bug修复的版本。只有当回归风险被认为极低时，补丁才能合并到维护版本中。维护版本不遵循特定的时间表。它们是在社区发现关键性错误时生成的。通常，我们鼓励用户始终升级到可用的最新维护版本。也就是说，如果您当前运行的是Spark 1.5.0，那么现在就应该升级到Spark 1.5.1。数据库里的Spark呢？Databricks的工程流程和云交付模型使我们能够在短时间内推送更新。Spark-indatabricks遵循apachespark的官方版本，有一个改进：我们利用快速交付为客户提供新特性和尽快修复错误。正如我们对Spark 1.5所做的那样，在正式的Apache1.5.0发布之前，我们就开始提供Spark 1.5预览版。预览版是基于上游补丁构建的，用于原型制作和实验。类似地，我们在Databricks中修补关键的bug修复，这样我们的客户就可以在最短的时间内收到上游bug修复。这适用于我们当前支持的所有版本，即Spark 1.3、1.4和1.5。也就是说，如果选择spark1.3作为Databricks中的版本，那么您将自动收到错误修复，因为它们是在apachespark1.3.x（branch-1.3）的分支中修复的。要试用Databricks，请注册免费试用14天。免费试用Databricks。今天就开始吧