"数据不是新的石油，而是新的核能。"—未知
社区成员好，物联网智能水表，
本博客的议程是演示SAP数据复制到Snowflake平台，云服务器价格比较，以构建独立的数据仓库场景。今年快到年底了，我们面临着一个奇怪的流感大流行时期，我现在坐下来写我的2020年最后一篇博客，它将指导您使用Azure服务处理SAP数据所需的资源，以便在Snowflake平台上构建一个强大的数据分析平台。众所周知，Santa Clause运行在SAP上，他的北极供应链数据每年都在增长，Elfs IT团队开始探索工业4.0、机器学习和无服务器服务的牵引，包括像雪花一样的高性能数据仓库、具有全自动化、零管理的Azure Synapse，再加上一个数据湖，这样他们就可以毫无困难地专注于增加SAP S/4HANA上的业务线（LoB）。
听起来很有趣……让我们继续滚动，看看下一步会发生什么！
来源：Gifer
据Gartner（我最喜欢的一个！），公共云服务市场继续增长，主要是由于现代应用程序和工作负载的数据需求。而数据是这一转变的主导因素之一。近年来，企业一直在努力处理大数据，大到足以压倒商用计算系统的数据集。（来源：Gartner news）
我们知道，所有的数据工程师和数据科学家都喜欢使用SQL来解决各种数据问题，它使他们能够完全掌控数据视图。要深入了解这些数据，您需要从各种来源提取数据并将其加载到数据仓库或数据湖中。为了连接或构建有时相当复杂的ETL/ELT数据管道，企业更喜欢使用诸如Azure data Factory、Talend、Stitch、Qlik等现代工具……根据您的体系结构和数据需求，数据与大数据专业，您可以为您的用例选择一个或多个ETL/ELT工具。我将利用我最喜欢的Azure服务—Azure Data Factory（ADF）—这是Microsoft完全管理的"无服务器数据集成工具"。
它允许开发人员构建称为管道的ETL/ELT数据流程，并使用大量预构建活动实现拖放功能。从prem文件系统和数据库（如Oracle、DB2和SQL Server）到应用程序（如Dynamics 365）以及Salesforce到云解决方案（如AWS S3、Azure data Lake Storage和Azure Synapse），您的数据源和目标有几十个本机连接器。当您的数据管道为分析工作提供动力时，它提供了最重要的价值。我们知道，没有数据，您就没有什么可加载到系统中，也没有什么可分析的。Azure数据工厂提供了90多个内置连接器，允许您轻松地与各种数据存储集成，而不考虑卷的种类，无论它们是在本地还是在云中。雪花连接器是最新的一个增加和可用的。我还在探索！
我们的目标是使用即插即用的Azure数据工厂将SAP数据批量或接近实时地加载到Snowflake上。
来源：Gifer
对于Snowflake的新手来说，它是一个基于云的数据仓库解决方案，提供给所有大型超标量软件，如Microsoft Azure、AWS和GCP。一旦您配置了帐户并使用Snowflake帐户创建了一些表，您就很可能需要将数据导入数据仓库。但有时，您还必须将数据从Snowflake导出到另一个源，例如为第三方提供数据。当你开通一个新的试用账户来探索和测试你的数据时，你总是可以从Snowflake那里获得30天的免费Tri
al和400美元的信用卡，这对任何想第一次探索的人来说都是一个巨大的优势，就像我一样！
要了解ADF对SAP数据集成场景的总体支持，请参阅SAP data integration using Azure data Factory白皮书，其中详细介绍了每个SAP连接器、比较和指导。
SAP data To Snowflake Cloud data warehouse on Azure（SAP特定场景，我们将在本博客中探讨）
ERP/CRM订单处理和社交数据登录到Azure上Snowflake的示例，带有集成仪表板，可利用
所有结构化/非结构化数据流到Azure上的Snowflake云数据仓库（端到端场景，国家大数据，第三方可供选择！）
对于此SAP到雪花集成场景，使用以下Azure服务：Azure Blob存储、Azure数据工厂（链接服务、数据集和数据流）和Azure云上的雪花帐户
让我们按顺序列出先决条件：
访问SAP应用表（ECC、s/4HANA、Netweaver）。最低SAP（基础701或以上）运行blob存储和Azure数据工厂访问的Azure订阅AccountAdmin的雪花订阅（新帐户不含信用卡，可获得400美元的信用卡）具有管理员访问权限的Windows远程桌面（这是可选的，我用的是笔记本电脑！）SAP网站上的64位SAP Connector for Microsoft.NET 3.0
SAP表应根据运行此方案的先决条件提供。现在，在运行我们的主要步骤之前，快速检查一下SAP表计数和saps/4HANA的详细信息。表名：ZSAPSALESDATA，使用虚拟销售数据集手动创建100K记录。
1.登录Azure门户并打开Azure数据工厂，创建新管道
2。在"Pipelines"部分右键单击并创建，提供名称：Copy_SAPTable2Blob of the pipeline，云服务器和服务器，如下图所示。
3。在Datasets部分下创建一个新文件夹：SAP2csv2Snowflake，右键单击它，并创建一个新的dataset:Azure Blob Storage，如下面的屏幕截图所示。
4。它将出现在门户的右侧面板上供选择。选择Azure博客存储，然后选择数据集的CSV格式类型。
5。设置CSV文件"DelimitedText2sap"的属性名称，并通过单击+新建选项链接服务。
6。在Integration runtime setup下选择"Azure"，然后单击Create。在本地计算机或远程桌面（从Azure门户网站）上安装.Net Connector for SAP需要此步骤
链接以下载完整说明–https://support.sap.com/en/product/connectors/msnet.html
7. 提供集成运行时名称等选项，如下图
8所示。使用SAS URI身份验证方法连接Blob存储。（雪花需要此项）
9。已为CSV文件的Blob存储建立连接。
10。为SAP表连接创建新的SAP数据集
11。点击"+新建"链接连接，填写SAP登录详情，立即运行"测试连接"和与SAP应用程序建立的连接。
12。现在检查"test connection"和Table–"Preview data"以确保SAP连接和数据可见。
SAP Table–ZSAPSALESDATA包含初始运行的10万条记录，然后我们将触发100万条记录作为第二轮演示。
（Imp:始终使用SAP Table name大写，否则可能无法从SAP获取数据附录）
13。登录您的snowflake试用帐户，使用下面的SQL脚本创建SAP表结构。
检查成功创建的表结构。
