Databricks公司今天采取了一些严肃的措施来提升流行的开源apachespark大数据处理引擎的价值主张，该引擎正面临着新的强有力的竞争。这家总部位于旧金山的公司宣布了一些更新，包括新的深度学习和结构化流媒体功能，这些功能为该平台增加了更多的功能性，同时还推出了新的无服务器产品，旨在降低在云端运行Spark群集的复杂性和成本。"我们需要更容易使用的系统，"MateiZaharia，Databricks的联合创始人兼首席技术专家，在旧金山的Spark峰会上说。与SiliconANGLE同一家公司的Wikibon分析师詹姆斯·科比罗斯（James Kobielus）在接受采访时表示，今天公布的更新正值ApacheSpark已成为数据科学家运行高性能、实时和内存分析的技术之时。特别是，Spark已经迅速成为内存、机器学习、图形和流式分析最受欢迎的平台之一。"许多解决方案提供商已经将Spark与其中间件、开发工具、数据平台和应用程序集成在一起，"Kobielus说开发人员越来越多地将Spark用于高规格应用程序，尤其是那些专注于机器学习、大数据和实时流式分析的应用程序。"但这并不是说Spark有它自己的方式。星座研究公司（Constellation Research Inc.）首席分析师兼副总裁霍尔格·穆勒（Holger Mueller）在接受采访时表示，尽管这项技术被迅速采用，但它已经开始感受到人工智能和机器学习新趋势的挑战。他指出，Spark已经到了一个有趣的阶段，技术已经成熟，占据了相当大的市场份额，但却开始感到受到新技术出现的威胁。穆勒说："Spark目前表现良好，但现在需要制定其吸收和定位战略。"新的协同产品在这方面的表现如何，将决定它是否会成为超越最初三到五年宣传周期的下一代应用程序的持久标准。"Spark提升了它的深度学习能力今天，Databricks为Spark推出了新的深度学习管道特性，它首次将深度学习特性和应用程序编程接口与平台的核心代码库集成。这样做的目的是使Spark更容易与开源深度学习框架软件TensorFlow等流行技术集成。深度学习管道引入了一个应用程序编程接口，允许轻松访问另一个大数据框架TensorFlow和Keras中的深度学习库。有了这一点，数据科学家现在可以将Spark的数据处理能力与周围最流行的深度学习框架之一结合起来，并使用它来训练和缩放新模型，以适应各种各样的用例。Zaharia今天说，Databricks的目标是通过简化整个过程，使更多的人能够创建10倍的深度学习应用程序。"Spark在深度学习革命中扮演着重要的、不断增长的角色，有时甚至无名氏，"Kobielus说然而，深度学习功能和API尚未与核心开源Apache Spark代码库集成，因此Databricks的发布令我们感到鼓舞。"Databricks还宣布了一个新的Databricks Serverless产品，该公司称这是Spark的第一个完全管理的平台。该解决方案针对的是主要在云环境中工作的初创公司的开发人员。Kobielus说："对于这些开发人员来说，他们中的许多人都处于缺乏深层IT资源的初创企业中，拥有一个完全管理的基于云的开发环境是绝对必要的，在这个环境中，服务提供商可以自动处理集群配置、优化、安全和工作负载管理。"。最后，Databricks宣布了一个用于结构化流的高级API的通用性，它提供了比以前显著更低的延迟和更高的吞吐量。这是一个重要的更新，因为Spark目前在流数据方面面临来自apacheflink和apachebeam等开源技术的激烈竞争。总的来说，今天的更新对apachespark是个好兆头，Kobielus说。他指出，Spark继续在各种应用领域获得主流应用，主要集中在大数据、数据科学、高级分析和物联网领域。Kobielus说，该平台还将成为开发和培训深度学习模式的一个有用但互补的工具，这些优势应能确保Spark在未来一段时间内仍然具有相关性。尽管如此，Databricks今天的声明未能解决其内存数据处理能力，穆勒表示，这是Spark最大的优势，也是其最大的弱点。他说，由于业务相关数据的增长速度远高于内存价格的下降速度，Spark在未来可能变得不那么重要。穆勒说，危险在于，内存处理的成本可能会导致Spark的重要性下降，以至于人们认为它只不过是一个"简单的缓存"，在市场上没有货币化的地位。如果Spark无法跟上进度，那么随着深度学习等数据密集型工作负载的增加，这个问题将变得更加突出。穆勒说："这在自学习和机器学习算法的时代变得更加重要，它们需要大数据量的存储来触发持续学习。"。来自罗伯特·霍夫的报道图片：Apache软件基金会既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。