大数据公司QuboleInc.正在加强ApacheSpark，使其客户能够在Amazon Web Services Inc.的AWS Lambda服务上运行Spark应用程序，从而使其更加灵活和易于使用。apachespark是目前最流行的大数据处理引擎之一，旨在执行流式、机器学习或SQL工作负载，这些工作负载需要快速、持续地访问数据集。Qubole说，在Lambda上运行Spark的能力，Lambda是一种无服务器的计算服务，用户只需为自己使用的计算能力付费，而无需提供服务器，这使得平台在资源使用方面更具弹性和效率。Qubole在一篇博客文章中说，它的Spark on Lambda服务克服了两个主要问题，这两个问题使在AWS Lambda上运行Spark是一个挑战。这包括Spark无法直接与Lambda通信，这是它需要做的，以便能够运行其执行器。另一个问题是Lambda的运行时资源有限，最大执行时间限制为5分钟，1536MB内存和512MB磁盘空间，这使得像Spark这样内存需求旺盛的平台运行起来极其困难。为了克服这些限制，Qubole执行了一些技术上的技巧，以确保Spark on Lambda服务在AWS Lambda调用中运行其执行器，从而避免了通信问题。对于Lambda有限的运行时资源，这是通过使用外部存储来避免本地磁盘大小限制来解决的。Qubole提供了以下图表来帮助展示Spark on Lambda的工作原理：至于好处，Qubole说Lambda上的Spark使运行"突发性工作负载"成为可能，这些负载是在计算容量需求激增时卸载到公共云上的内部应用程序，而不需要等待服务器先启动。Spark集群也可以自动扩展，管理员不需要输入。要想计算出Lambda的精确成本，就必须让Lambda函数更加透明，也不应该用Spark来计算成本。"Qubole的客户经营着世界上最大的Spark集群，"Qubole首席执行官Ashish Thusoo说我们希望证明，像Spark这样的复杂技术可以在Lambda这样的无服务器计算基础设施上实现，并且可以高效地进行扩展。"Qubole表示，Lambda上的Spark目前可以作为技术预览版提供，公司将在下周拉斯维加斯举行的AWS re:Invent大会上展示自己的能力。图片：Qubole既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。