Apache软件基金会的开源项目持续增长，在过去的24小时内又增加了两个顶级项目。它们包括谷歌公司（googleinc.）支持的批处理和流式大数据处理的统一编程模型，以及一个新的大数据平台监控工具，如apachehadoop和apachespark。阿帕奇梁首先是apachebeam，它被最好地描述为统一的大数据编程框架。该项目诞生于Google，旨在消除构建能够跨分布式系统的分析管道所涉及的一些复杂性。它与流行的流处理引擎兼容，比如Google的云数据流服务、apachespark和apacheflink。像许多在Google下开始的项目一样，它后来被捐赠给了ASF，以获得更多的支持和加快它的发展。apachebeam项目管理委员会成员、Google的软件工程师tylerakidau说，Beam已经成为一个更好的项目，因为它得到了Google之外的人的支持。Akidau在一篇博文中写道："虽然创建ApacheBeam背后有很多动机，但最核心的一个愿望是，围绕这个强大的数据处理模型，建立一个开放、繁荣的社区和生态系统，我们在谷歌的很多人都花了数年的时间进行改进。"但是，从一家公司内部接手一个拥有十多年工程发展动力的项目，并将其向世界开放，这可不是一项小壮举。这就是为什么我觉得今天的声明如此有意义。"Akidau从公司外部的角度看待这一帮助的重要性，他说，组成Beam的22个大型模块中有10个是社区白手起家开发的，几乎没有谷歌工程师的贡献。"自9月以来，没有任何一个组织的月贡献率超过50%，他说。在Beam的孵化期内，新加入的大部分贡献者都来自于谷歌之外的公司，其中包括一些知名的名字，比如云计算公司，Hadoop系统提供商，Data Artisans GmbH，Flink背后的公司，Talend Inc.，和PayPal等等。据PayPal大数据平台Assaf Pinhasi主管表示，Beam通过与底层执行引擎分离的单一应用程序编程接口，使数据工程师可以使用流处理，从而为公司提供了良好的服务。"我说，他们现在最担心的是如何处理这些复杂的数据。当Google第一次将Beam捐赠给ASF时，它有三个底层执行引擎，使之与云数据流、Spark和Flink兼容。现在有四个，另外一个是为apacheapex添加的，apacheapex是一个实时流处理引擎，创建于Yahoo公司，现在由DataTorrent公司开发。Akidau写道："成为一个顶级项目表明ApacheBeam现在已经有了一个开发社区，可以在黄金时间投入使用。"我们已经准备好将可移植性的承诺带到编程数据处理中，就像SQL在声明性数据分析中所做的那样。我们已经准备好了，如果这个项目被限制在谷歌的墙内，我们将永远无法建造这些东西。"阿帕奇鹰周二毕业的第二个项目是apacheeagle，这是一个开源的监控和警报系统，旨在警告用户Hadoop、Spark等大数据平台上的性能和安全问题。这个项目最初是由eBay公司的工程师开发的，他们需要一个解决方案来帮助他们监控他们的大型Hadoop集群，这样他们就不必手动操作了。不久，eBay的团队就意识到该系统将受益于社区帮助，于是于2015年10月将其作为孵化器项目提交给了ASF。ASF在一份新闻稿中说，Eagle是一种分析工具，能够"即时"识别性能和安全问题。它通过分析数据活动、守护程序日志、JMX指标和YARN应用程序来发现安全漏洞和性能问题，并提供其他见解。"Eagle在为大数据部署提供一流的安全性、性能监控和警报方面扮演着非常重要的角色，"ASF成员、ApacheEagle项目管理委员会成员P.Taylor Goetz说。既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。