在这个时代，我们的数字社会产生的数据比以往任何时候都多。因此，数据正成为组织最重要的资产之一，这一点不应感到意外。为了挖掘我们海量数据中隐藏的宝藏，我们有数据管理员、数据工程师、数据科学家等。虽然所有这些人都执行不同的任务，但他们都是数据公民，他们面临着大数据带来的一系列挑战。两个重要的数据挑战是数据量和分布。当像Hadoop这样的分布式计算和存储系统统治着大数据场景时，它们引入了一定程度的混乱。结果很容易出现这样的情况：有些数据存储在配置单元中，而另一些数据则位于HDFS上的文件中，有些应用程序将其数据存储在HBase或关系数据库的集合中，更不用说NoSQL了。除此之外，除了员工工作站上的数据之外，您可能还有一些更传统的数据仓库。那么，我们如何管理分散在不同系统中的所有这些数据呢？我们如何确保正确的人能够访问正确的数据资产？最好尊重相关的数据保护上下文。我的大数据事业始于2009年，当时我还是一名博士生，教育大数据，电梯物联网，加入了布鲁塞尔维利大学（VUB）的高能物理研究小组。我很幸运作为紧凑型μ介子螺线管（CMS）合作的一部分，其中包括大约3000名科学家和工程师。巨大的CMS探测器是安装在大型强子对撞机（LHC）上的四大技术奇迹之一。大型强子对撞机是世界上最大、最强大的粒子加速器，位于瑞士日内瓦附近的欧洲核子研究实验室（CERN）内。大型强子对撞机将质子加速到接近光速，然后迎面相撞在探测器内。这些大机器可以被认为是巨大的数码相机，大数据软件，可以记录发生碰撞的照片。如果考虑到CMS在最高性能时每小时收集大约1tbyte的数据，那么我们很快就会每年获得数PB的数据。考虑一下数据拖把的大小，如果你要清理这些数据…处理这些类型的卷的唯一方法是通过一个全球分布式计算和存储系统，该系统按层次组织：全球LHC计算网格（WLCG）。在这个系统中，实验的原始数据从欧洲核子研究中心流向不同的一级中心，在那里原始数据被分段并从原始的"像素"到更高级别的描述（包括电子或μ介子等粒子）进行重构。这些数据随后被转移到全球不同的二级中心，物理学家在那里运行他们的日常分析工作流程。鉴于数据的巨大数量和复杂性，大多数分析工作都是从一些与数据相关的基本问题开始的，大数据分析是什么专业，淘客api，比如：我需要哪些数据？我们有这个数据吗？数据的物理位置在哪里（想象一下必须通过互联网下载几TB的数据）？这些数据是否被证明可以发表科学成果？是否有关于这些数据元素的报告问题？回答这些问题可能是一个艰苦的过程。然而，CMS通过构建其数据目录来克服这个问题。这个工具真正形成了关于数据的知识中心，物理学家们利用数据目录来找出哪些网格中心承载了数据的哪些部分，哪些包含了关于数据获取条件的附加信息。它还包含有关数据质量和认证、用于重建的软件框架版本、应用校准等方面的信息。所有这些信息对于正确处理数据以产生高质量的物理结果是至关重要的，而且有了数据目录，这些信息就可以在物理学家的指尖上轻松获得。粒子物理需要一个数据目录点击推特让我感到好笑的是，虽然我的工作环境在我毕业和离开学术界后发生了变化，但我仍然面临着同样的基本数据问题。我相信我并不孤单。除了适当的数据治理之外，对数据目录的需求将随着数据资产的巨大增长而增长。这就是Collibra发布Collibra目录的原因。通过减少在诸如"在哪里可以找到我的数据"这样的问题上花费的时间，我们可以从我们的数据中挖掘出更多的见解。数据目录必将成为我们数据工具箱不可或缺的一部分。