大数据存储库保存了世界上许多个人可识别的数据。许多数据管理专业人士现在正专注于欧盟通用数据保护条例（GDPR），该条例将在一个多月内生效，并将对在这些国家开展业务的任何企业实施严格的数据管理任务。自2011年成立以来，Hortonworks Inc.已经从一家Hadoop大数据软件发行初创公司发展成为一家多元化的供应商大数据治理工具，用于私有、公共、混合和多云部署。GDPR现在是全球在这方面的主要焦点，尽管其他国家和行业的法律，如美国的HIPAA，仍然是此类能力需求的驱动力。正如我在最近的这篇文章中所讨论的，GDPR要求对欧盟成员国公民的个人数据的处理、移动和使用进行严格的企业控制，并对未能维护这些数据的行为处以重大的经济处罚。在本周于柏林举行的DataWorks峰会上，GDPR是主要焦点，但远不是唯一的话题。正如Hortonworks的营销副总裁John Kreisa在活动中对CUBE所说的那样，该供应商不断增长的客户群正越来越多地投资于其主要基于开源的产品，以及2300多个合作伙伴的产品，以推动"物联网"、流计算、数据科学、人工智能、机器学习、数据仓库、网络安全等重要应用。为了应对这些机遇，Hortonworks继续采取社区主导的市场战略，专注于开源技术，正如公司创始人艾伦·盖茨（Alan Gates）在本次多维数据集采访中所讨论的那样。在DataWorks峰会上，这些技术和其他新兴技术的突破性进展都有很多人参加。在cube上，我们与一位正在建设企业数据湖的德国Hortonworks金融服务客户以及乌拉圭和南非的合作伙伴以数据科学为重点开展客户项目进行了深入的讨论。关于Hortonworks及其合作伙伴通常如何解决数据科学、人工智能和相关领域的机遇的讨论，请查看对Piotr Mierzejewski的多维数据集采访，他是IBM数据科学体验解决方案的项目总监，Hortonworks是该解决方案的主要经销商。尽管如此，不可否认的是，距离GDPR不到一个月的最后期限已经迫在眉睫，Hortonworks的客户将法规遵从性相关的数据管理项目推到了他们优先考虑的位置。正如有影响力的大数据分析专家伯纳德·马尔（Bernard Marr）（图为DataWorks）在立方体上告诉我的："我的感觉是有很多事情要做，我想人们现在都在争先恐后地准备。但没人真正知道准备到底意味着什么，我认为有很多不同的解释。我最近跟几位律师谈过，每个人对如何突破界限有不同的解释。"这也解释了为什么这次活动的主要新闻是Hortonworks宣布新的datastewardstudio，这是一个软件即服务的产品，帮助企业实现GDPR合规流程的自动化。新产品是由首席技术官Scott Gnau在第一天的主题演讲中发布的，现在已经进入了技术预览阶段，计划在本季度晚些时候正式提供。它将作为更大的Hortonworks DataPlane服务系列的一个组件推向市场，该系列服务用于管理复杂的大数据多云。正如那天晚些时候格诺在《古巴时报》上告诉我的那样："肯定有很大的搭配。GDPR无疑正在创造一个里程碑，一种触发人们真正思考他们的数据资产的触发器。但它肯定比这个还要大。因为当你一直在考虑推动企业的数字化，推动新的商业模式，连接数据和寻找新的用例，所有这些都是关于找到你拥有的数据，了解它是什么，它来自哪里，谁可以访问它，他们对它做了什么。这些都是治理类的事情，现在由GDPR等法律规定。"正如Srikanth Venkat在第二天的主题演讲中所展示的，Data Steward Studio支持以下隐私保护数据管理实践：发现、编目和维护企业在私有、公共或混合云中跨一个或多个数据湖存储和管理的个人数据的详细记录；为受试者提供一个安全、全面的环境，使其能够访问和审查其存储在任何地方的个人数据；向受试者披露他们处理数据的原因、从何处获取数据、将数据发送到何处、何时删除数据、为何需要保留到那时以及受试者对这些数据拥有哪些权利；使受试者能够注册或撤销其对数据处理、使用和传输的不同级别的具体、知情和明确的同意；以及执行受试者对处理、使用和传输数据的同意，以及他们删除全部或部分数据的请求，撤销对各种用途的同意或限制分析和处理。元数据是为datastewardstudio提供动力的大数据目录的核心。该解决方案使企业数据管理员能够基于来源、值、保护级别、敏感度或功能用途以及其他描述性元数据在全局范围内搜索、编目、分类、标记和管理数据。它使数据管理员能够分析数据沿袭和影响。它还可以根据企业范围内的授权、数据保护和匿名化策略保护个人数据和相关元数据。关于元数据在大数据目录中的核心作用（例如支持新Hortonworks产品的元数据）的详细讨论，请查看我对IBM杰出工程师Mandy Chessell的多维数据集采访。她讨论的要点如下："很多公司都在尝试建立一个数据目录。它不是一个实际包含数据的目录，而是一个描述数据的目录，它是所有数据集的列表，以及这些数据项在数据集中的含义的词汇表定义的链接，以及有关数据沿袭的信息。它包括关于谁在使用它，他们使用它的目的，应该如何管理它的信息…。对于一个拥有强大数据策略、有兴趣成为数据驱动型组织的组织来说，它是一个中心资源。这成为他们如何使用数据集的主要目录。所以当监管者进来问你能不能给我看看你是如何管理个人数据的，目录上有数据的位置，它所在的基础设施类型，不同服务如何使用这些数据的信息。因此，他们可以真正表明他们知道自己在做什么，然后从中可以展示他们如何使用元数据，以便每天适当地管理数据。"要查看2018柏林数据工厂峰会的这些和其他多维数据集访谈，请访问此页面。这是我第一天和第二天的所有访谈和主题分析。（*披露：The Cube是DataWorks Summit 2018的付费媒体合作伙伴。无论是Hortonworks、活动赞助商还是其他赞助商都无法对cube或siliconagle上的内容进行编辑控制。）资料图：DataWorks Summit/Twitter既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。