当"数据湖"这个词在2011年被提出时，人们的想法是，组织需要一个单一的池来存储所有的数据，这样就可以利用它来进行任何需要的分析或其他应用，而不是在无数的数据仓库中疲于奔命。但现在，企业在其自己的数据中心和多个云计算提供商之间拥有多个数据湖，这在一定程度上打乱了整个想法的目的。霍顿公司今天宣布要帮助解决新的数据服务问题。Hortonworks DataPlane Service（简称DPS）是一种云服务，旨在将多个数据湖和其他数据存储库中的数据关联起来，无论这些数据来自美国的客户交易、日本的安全摄像头还是其他任何地方。该公司表示，这项服务建立在Apache Atlas等开源技术的基础上，用于管理数据的安全性和可用性，这将使公司建立和运营分布式数据系统变得更加简单，无论这些系统是用于数据科学、分析还是数据仓库——即所谓的动态数据和静态数据。随着来自遥远的物联网设备的数据爆炸式增长，企业需要在这方面进行数据密集型的工作，如人工智能和机器学习，应用范围从语音和图像识别到自动驾驶汽车，这一点变得尤为重要。"很明显，数据不会集中在一个地方，"Hortonworks联合创始人兼首席产品官阿伦·穆尔蒂（如图）在接受采访时表示这是第一次有人承认会有多个数据湖。"他说，DataPlane服务是一种将各种数据湖和其他地方的所有数据缝合在一起的方法。使用DataPlane，公司可以跨数据湖实现一致的数据治理。这一点很重要，Liberty Mutual Benefits的高级主管兼分析主管Sesh Rangarajan在一份声明中说："我们需要一个单一的数据结构来理解这一切。"事实上，正如Forrester Research Inc.分析师Noel Yuhanna向SiliconANGLE描述的那样，这正将他编织多个数据线程的"数据结构"概念变成现实。数据平面本身并不包含所有这些数据，而是充当一种目录或"语义"层，但由于数据的所有来源和类型，这仍然是一个重大的技术挑战。"这可以防止数据不一致，有助于更好地整合数据，"Yuhanna说。他说，尽管有一些手工编码的解决方案，但"没有其他公司能做到端到端地处理此类问题。"不过，他补充道，Hortonworks的竞争对手，如MapR Technologies Inc.，Cloudera Inc.和Amazon Web Services Inc.很可能很快就会朝着类似的方向发展。资料图：霍顿工厂DataPlane服务已经在金融服务、医疗保健和其他行业的许多客户中进行了测试，现在作为开放源代码提供，Hortonworks将对在此基础上创建的扩展或应用程序收费。它在一开始就创建了一个datalifecyclemanager，它管理数据的处理方式，维护上下文，使其符合中央安全和治理策略。Murthy说，Hortonworks计划提供其他扩展，但它也希望其他公司能以类似于应用商店的方式提供扩展。例如，Hortonworks正在与一家初创公司进行谈判，希望能将数据分析和扫描到服务上可用的数据湖中。同样重要的是，IBM公司正与Hortonworks合作，使其数据科学经验、大SQL、大集成和高质量数据服务直接在DataPlane上提供。"IBM相信我们正在向一个多云世界发展，而Hortonworks DPS是在多云环境中集成不同数据集的关键，"IBM Analytics总经理Rob Thomas在一份声明中说。Yuhanna表示，DataPlane将Hortonworks定位为一个"不同类型的公司"，这将有助于Hortonworks成为一个更广泛的公司，而不仅仅是Hadoop大数据框架和相关开源技术的平台。他说，该服务还可以提供其他关键服务，如数据清理和数据质量改进。"对我们来说，这是一个重要的时刻，"默里说，酝酿了两年这是我们主要平台上的一种结构。"今年3月，在霍顿工厂的数据工厂峰会上，Murthy与SiliconANGLE Media的视频部门the Cube交谈时，他暗示了即将推出的产品，他谈到了帮助企业避免淹没在数据湖中的必要性：照片：硅角既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。