IBM公司今天表示，它将与Hortonworks公司合作，将IBM的数据科学产品与Hortonworks公司管理大量数据的软件平台相结合。两家公司表示，此次整合旨在帮助客户更好地分析和管理他们的数据，但这也给IBM带来了一些重大后果，因为这意味着IBM实际上放弃了开发自己版本的Apache Hadoop，这是一款用于存储、处理和分析大数据的开源软件。ibmdatascienceexperience是一个由大约250个精心策划的数据集和协作工具组成的集合，它使开发人员能够快速、轻松地创建机器学习和分析模型。Hortonworks数据平台是大数据公司的官方apachehadoop发行版。IBM的合作伙伴关系将与Hortonp的解决方案合作。Hortonworks表示，它还将采用ibmdse作为其战略数据科学平台，这意味着使用HDP的开发人员现在可以访问机器学习、高级分析和统计等新功能。作为回报，IBM将采用HDP作为其官方Hadoop发行版，并将其与IBM Big SQL（该公司用于Hadoop的SQL数据库引擎）完全集成。这种集成意味着IBM将放弃BigInsights，后者将其企业功能和行业标准Hadoop组件组合到一个平台上，并将用户迁移到HDP。IBM Analytics的总经理Rob Thomas在接受SiliconANGLE的采访时解释说，这一合作关系将有助于扩展IBM最新的数据科学战略，该战略始于今年早些时候IBM从Watson和IBM DSE产品中撤出技术，并在IBM大型机上推出。"这是该战略的下一步，在大数据上，特别是在Hadoop上实现这一点，"Thomas说当将机器学习引入到数据中时，机器学习效果最好，而不是相反。"Forrester Research Inc.副总裁兼首席分析师布赖恩·霍普金斯（Brian Hopkins）告诉SiliconANGLE，更重要的或许是，这笔交易让IBM和Hortonworks都能专注于自己最擅长的领域。他解释说，这一合作伙伴关系使IBM得以专注于开发其高级分析解决方案。同时，Hortonworks将为其HDP平台增加更多价值。霍普金斯说："IBM的大数据分布一直跟不上，但现在他们有HDP，这是领先的优势。"这对Hortonworks来说也是一件大事，因为它是另一个由企业供应商转变为云播放器的公司，将运行他们的基础设施并转售他们的产品。这给Cloudera带来了压力。"然而，Wikibon大数据分析师georgegilbert表示，Hortonworks将继续面临来自大型公共云计算提供商的压力。他说："机器学习和数据科学工具只有在配备了经过预先训练的模型之后，才能真正提高效率。"谷歌、微软和亚马逊最有能力提供这种功能。"霍普金斯在今天的一篇博文中补充道，IBM在Hadoop方面的主要问题是缺乏人才。尽管IBM坚称，在过去的两年里，它成功地将开源开发人员的数量增加了近7倍，但霍普金斯认为，该公司很难吸引到具备从事开源项目所需的创新技能的员工。他指出，大多数年轻的开发人员倾向于为像Hortonworks这样挑战"大公司"的新贵公司工作。他说，对于微软公司和英特尔公司等公司来说，这也是一个问题，因为开源是所有新的增长点，但他们无法与霍顿公司这样的公司竞争。霍普金斯写道："这些软件巨头的未来取决于他们能否很好地应对传统商业模式的破坏，而传统商业模式是基于前提、规模扩大和以企业交易为中心的。"。两家公司还宣布了用于ibmpowersystems的Hortonworks数据流，这是一个运行大数据和认知工作负载的新平台，应该可以为用户更快地访问数据。HDF是一个流处理和流分析平台，它通过加速数据流进入HDP平台来补充HDP平台。ibmpowersystems是一系列基于公司Power架构构建的计算机服务器，旨在运行大数据工作负载。此外，IBM和Hortonworks表示，他们将在Apache软件基金会的开源生态系统中加强合作。这包括在apacheatlas上推进IBM统一治理解决方案的开发，apacheatlas是一个可伸缩的Hadoop治理平台。这个想法是将Atlas从它在ASF的"孵化器"地位提升到一个完整的、顶级的项目，这样它就可以发布用于开放式开发和部署。两家公司还表示，他们计划扩大在apachespark数据处理引擎上的工作，并将与开源社区合作，围绕Atlas和apacheranger标准化安全、元数据和数据治理，后者是Hadoop上管理数据安全的框架。"数据科学和机器学习的世界以及企业大数据的新世界需要开源，"托马斯说事实上，市场上Hadoop玩家的其他选择都是完全私有的。这对客户和创新都不利。"不过，IBM向Hortonworks的Hadoop发行版过渡对客户来说并不容易。""唯一面临艰难抉择的是IBM的Hadoop客户群，"Gilbert说IBM必须帮助他们转移到新的发行版。虽然两家供应商都支持针对Hadoop发行版的ODPi标准，但这只是每个供应商整个发行版的一小部分核心，因此迁移并不容易。"今年2月，托马斯在IBM机器学习平台发布仪式上接受了SiliconANGLE Media视频工作室Cube的采访：来自罗伯特·霍夫的报道图片：图米苏/皮克斯贝既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。