云数据平台已经成为企业数据架构的关键组成部分，在许多组织的数字化转型战略中扮演着核心角色。这不仅仅是因为它们提供了多用途、可扩展和经济高效的存储。这是因为它们促进了更灵活的数据操作，突破了孤立的体系结构，释放了人工智能和机器学习的潜力，以推动新的可信的商业洞察力这些核心优势有助于解决公司在实施数字化转型计划时面临的诸多挑战。在所有垂直行业中，公司收集的数据量要大得多，这表明需要可扩展、经济高效的解决方案。他们还收集了更多种类的数据（包括结构化、半结构化和非结构化数据），这些数据很难通过单一模式进行描述。这表明需要多用途存储。最重要的是，他们需要快速从这些不同的数据集中获得见解，这就需要敏捷的数据操作和复杂的分析（特别是AI/ML功能）云数据平台是什么意思？与企业技术领域的许多术语一样，"云数据平台"可能有些含糊不清，这就是为什么我们要从定义它的确切含义开始。从功能角度来看，当我们提到"云数据平台"时，物联网的应用实例，我们参考了企业收集、处理、存储、分析和可视化数据所需的所有工具。随着新服务的推出，Google云平台（GCP）的功能一直在不断发展，以下是对这些类别中当前提供的工具的一些见解：数据收集：云数据平台需要聚合来自多个不同来源的数据，包括实时更新和批量传输。GCP提供通过发布/订阅和物联网核心服务的车载流媒体数据的能力，并通过数据传输提供一系列批量上传选项。数据处理：从源系统装载的数据通常需要在存储之前进行预处理，以支持进一步的分析。GCP提供了一系列工具来支持这些过程，包括流数据的Dataflow、Hadoop/Spark堆栈的Dataproc、数据融合（用于集成来自多个源的数据）和Dataprep（用于数据争用）。数据存储：大多数企业需要数据湖和数据仓库技术的结合来支持他们的商业智能和数据科学团队。像Google云存储这样的数据湖需要容纳各种各样的数据类型，尤其是非结构化数据源，智能物联网，但也包括原始形式的结构化数据（在预处理之前）。这种多功能性有助于几个用例。数据湖充当原始源数据的存储库、为进一步分析准备的数据暂存区、自助式商业智能的中心枢纽或这些功能的组合。另一方面，数据仓库作为结构化数据的中心，这些数据已经被处理成一个通用模式，因此可以进行进一步的分析。GCP的数据仓库解决方案BigQuery与可伸缩企业分析特别相关。它的分布式体系结构不仅提供了高可用性和持久性的存储，而且有助于支持查询性能和可伸缩性需要注意的是，处理非结构化数据通常会产生自然结构化的输出。以收集到的多个客户通话记录为例（通过多个渠道收集到的语音和电子邮件）进行分析。这些对话的文本内容（一旦音频文件通过语音到文本进行转录）本质上是非结构化的，不一定会直接被摄取到数据仓库中。然而，自然语言处理引擎可以用来为这些对话打分，并确定客户满意度的水平。在此过程中，原始的非结构化数据被转换为结构化数据，可以与其他来源结合进一步分析，作为对客户流失进行更广泛调查的一部分数据分析：一旦数据被收集、处理并存储在其所需的结构中，淘客助手怎么用，就可以进行进一步的分析了。这可以采取多种形式-从简单的查询到更复杂的计算指标和分析，一直到设计用于检测新模式或驱动预测的机器学习模型。BigQuery提供了全方位的分析功能，包括流媒体和地理空间分析以及机器学习的专门功能。数据可视化：一旦数据被分析，就需要以直观的方式呈现出来。从简单的折线图和条形图到更复杂的地理空间可视化，大多数商业智能工具的关键是清楚地显示模式，并使数据更容易理解。GCP最近收购了Looker作为自己的内部商业智能解决方案，但也与一系列第三方合作，人工智能知识体系，包括Tableau和Qlik。为什么数据需要在云平台上进行治理？事实证明，云数据平台在培养敏捷数据操作方面非常有效。这不仅是因为它们不需要管理硬件，而且还因为支持刚刚介绍的过程的各种工具和自动化的深度。然而，云数据平台提供的一些核心好处也可能导致意想不到的后果。组织可以轻松地以较低的成本存储更大的容量和更广泛的数据，这有可能导致管理不善。如果没有适当的治理，组织可能会遇到以下方面的挑战：数据质量：缺乏所有权和责任感可能导致对源数据的控制不力，导致高度重叠或冗余。缺乏上下文信息也使得很难确定哪个来源是最完整、最准确或最新的。数据发现：云数据平台为商业分析师和数据科学家带来了巨大的希望。能够从单个位置访问企业数据资产听起来像是灵丹妙药。但是，如果没有上下文信息，他们就不知道该选择哪些数据源，企业内部软件，如何解释这些数据，或者是否相信其准确性。法规遵从性：糟糕的数据治理也可能带来风险。大多数组织都面临着大量影响其数据管理方式的规则。有些法规，如GDPR和CCPA，为数据主体提供了更大的数据权限（例如删除个人信息的权利），并要求组织承担维护这些权利的责任。行业监管机构和税务机关制定的其他规则要求企业保留数据以用于审计目的。面对一套越来越复杂的法规，企业需要采取以数据为中心的法规遵从性方法—了解所有敏感信息存储在何处、哪些策略适用于每个数据集、允许进行哪种类型的处理以及应如何控制访问。解决这些挑战正是"受治理的"云数据平台概念浮出水面的原因，也是Collibra与谷歌云平台（GCP）合作关系背后的推动力。如何确保云平台上的数据得到良好的管理？为了释放云数据平台提供的好处并减轻任何意外后果，组织需要确保数据和分析得到适当的管理。这就是Collibra的优势所在。Collibra提供了一个协作平台，通过帮助培养信任、可发现性和对数据的理解，使组织能够更好地管理其信息资产为了解释我们所说的治理是什么意思，我们强调了以下四种策略，它们是成功实施受治理云数据平台的关键：受控摄取：为了确保云数据平台接收到可信的数据，在摄取源数据之前，对源数据进行适当的管理并在数据目录中注册是很重要的。捕获相关的元数据将帮助最终用户准确地知道哪些数据是可用的、它意味着什么（提供业务上下文）、数据的来源以及数据的准确性、完整性和一致性构建元数据驱动的数据管道：正如云架构支持更敏捷的开发方法一样，它们也促进了更敏捷的数据操作。通过受控摄取过程捕获相关元数据为数据科学家提供了构建自己的数据管道所需的信息。他们没有等待中央团队代表他们准备数据，而是有权选择满足他们需求的源数据，并将其转换为正确的结构进行分析。认证信息资产：数据治理是一个不仅适用于源数据的规程。管理有助于数据分析的组件也同样重要，从特定的查询、API调用、分析和机器学习模型到报告、工作表、笔记本、仪表盘和多维数据集。在目录中注册这些信息资产意味着业务分析师不仅可以共享他们的见解，还可以共享生成这些见解的工具。这有助于整个组织的数据更加智能化，从而加快了将原始数据转化为有意义的结论以指导业务决策所需的时间。访问治理：正如需要对摄取到云数据平台的数据进行控制一样，它们也需要控制如何将数据提供给数据使用者。访问治理需要通过对数据集和允许的用例的细粒度理解来支持。然后，可以将策略配置为应用于特定的数据元素和/或类别，确保仅在允许的情况下提供数据。例如，每个请求可能考虑查询的目的，以及数据con的位置和业务单元