在雪花中建模SAP数据（第2部分）2020年4月27日|5分钟读取作者：约翰·冈塔兹|供稿作者：马克·范德维尔如何使用雪花，雪花技术作为一个平台，Snowflake支持您选择的数据建模技术，包括datavault、Kimball维度建模、Inmon、一些技术组合，或者任何您自己选择构建的技术。在这篇由两部分组成的文章的第1部分中，我们将解释如何在雪花云数据平台中使用SAP数据，作为ELT工作流的一部分在HVR将SAP中的数据复制到Snowflake（这通常是处理SAP数据中最具挑战性的部分）之后，您可以使用您喜欢的任何方式处理和建模数据。在第2部分中，我们将描述如何使用封装所需业务逻辑的视图将复制的数据转换为星型模式，当这些视图被创建后，它们可以被BI工具直接查询，也可以具体化为可以查询的表。下面的过程使用了一个非常简单的表MARA（General Material Data），但是这些概念适用于从SAP复制到Snowflake的任何表。以下是流程的高级架构：使用HVR的好处之一是它可以从SAP应用程序中复制数据，而不管底层数据库是什么。步骤1：创建并加载物理表第一步是使用HVR作为从SAP到Snowflake的初始加载的一部分来创建目标表。在此过程中，所有SAP表都驻留在SAP_ERP_SHARE数据库中名为PHYSICAL_tables的模式中。注意，表和所有可用列一样被加载到Snowflake中。第二步：构建语义层处理SAP数据最困难的部分之一是理解隐藏的表和列名的实际含义。首先创建一个语义层，将SAP表和列名称转换为更有意义的内容。这需要了解表和列转换的工作原理。大多数SAP SME都理解这一点，如果您有权访问SAP文档或可以运行SE11的SAP系统，则可以自行构建也有很多网站做了很好的定义这一点https://www.sapdatasheet.org/因为它既有表和列信息，也有SAP表和各种表关系的ERD图。另一个很好的资源是SAP的HANA Live，如果您熟悉这一点，您可以将底层代码作为理解表如何连接的基础，以及在雪花中构建或建模所需的一些转换逻辑。例如，在我们的场景中，MARA（通用材料数据）的语义层如下所示：这个DDL存在于一个名为universion的模式中，它是一个名为generarmaterialdata的视图（在本例中，表MARA有236列，因此并非所有列都显示在上图中），来自MARA的所有列都包含在语义层中，这允许下游进程以一致的格式访问所需的任何列。请注意，此语句中只发生了两件事：从MARA到generamaterialdata视图的转换列缩写到英文描述的映射协调层的主要目标是将SAP表转换成对大多数人有意义的东西。步骤3：构建传播层现在我们有了一个具有有意义的列名的视图，下一步是传播将在数据集市层中使用的列，并在需要时丰富数据这可能包括以下内容：处理数据类型转换添加计算列转换日期字段过滤数据执行其他杂项转换这一步的目标不是执行大规模的转换。相反，此步骤清理数据，同时保持从复制数据到语义层到干净视图的1:1映射。在GeneralMaterialData视图的顶部，使用以下DDL创建一个名为GeneralMaterialDataActive的视图：例如，包括以下行动：仅过滤尚未删除的数据过滤特定物料类型数据在客户端800上过滤计算物料类型以提供描述步骤4：构建数据集市层下一层是数据集市层，该层从传播层获取数据，并将其处理为创建维度模型的维度或事实。GeneralMaterialData视图用于为名为标准产品尺寸，如下所示。步骤5：构建额外的扩展或使用维度和事实此时，上一步的输出是基于正在建模的业务流程的一组维度和事实。从这里，您可以将维度和事实元数据导入到BI工具中，以运行分析、具体化维度和事实，或者根据最终用户的需要进一步处理维度和事实。注意：这个博客演示了MARA是如何工作的，但是我对许多其他表以及下面显示的输出运行了相同的步骤。详细信息将根据您特定的sapsd环境而有所不同，但是您可以将整个概念应用到SD或任何其他主题领域。结论总之，我们通过一个简单的示例，从概念上展示了如何使用HVR将数据复制到Snowflake中，并在Snowflake中使用视图来转换数据，从而从概念上展示如何将SAP ERP中的数据建模为雪花。这个过程不仅限于SAP数据。对于大多数公司来说，SAP只是数据的一个来源。您可能还使用来自Salesforce、Workday、各种制造系统或自制应用程序的数据。您构建的维度和派生的事实可以包括来自任何这些源的数据雪花可以作为一个数据平台，将所有这些数据存储在一个地方，这样您就可以在环境的完整上下文中查看SAP数据。通过注册我们的网络研讨会了解更多：如何：SAP数据到雪花。本次网络研讨会由Snowflake和HVR联合主办，深入探讨了这两种解决方案如何使您能够更广泛地了解您的业务和实时决策。  马克是实时数据复制解决方案提供商HVR的首席技术官。Mark在数据复制以及实时商业智能和分析方面有很强的背景。在15年多的职业生涯中，马克将自己的职责从顾问扩展到产品管理和业务开发。就像你读的？通过喜欢和分享来表达你的感激之情！Facebook推特LinkedIn