1.1简介
在数据仓库系统环境中,数据统计,可能有多个源系统向仓库提供数据。数据库(如Oracle、Sybase、MS SQL Server等)、web服务和平面文件(如xls、txt、csv等)可以混合使用。
在这里,我们将讨论文件加载过程中的错误数据捕获和分析,大数据的商业价值,新手建站教程,这是任何ETL过程的一个组成部分。文件可用于数据迁移、增量加载或两者兼而有之。处理没有错误的文件或在出现错误时处理错误是一项乏味的任务。
1.2目的
本白皮书的范围是使用SAP Data Services在平面文件上载过程中捕获和处理错误数据的增强功能。
尽管SAP DS提供了捕获错误记录详细信息到文件以供分析的机制,但实用程序无法格式化和分析此错误数据。此外,生成的错误文件不容易读取,这会导致更大的努力来仔细检查错误记录和定位源文件中的错误数据。只要稍作调整,建议的通用解决方案就可以扩展到任何平面文件格式(csv、txt、,制表符分隔的文件等),并将节省大量的时间解决问题时,有更多的文件要处理。
1.3业务效益
以下业务效益是预期的
1.4执行过程
可重用组件将执行以下:
2.2步骤1–
在SAP DS创建数据流加载csv文件
2.3步骤2
如果生成错误记录,有享云商城,触发数据流处理错误数据。
2.4步骤3
执行"文件分割"_实用工具.bat"
2.5步骤4
用适当的分隔符转换错误文件,SAP DS可以处理该文件
2.6步骤5
处理DS中的文件并查询数据库表以查看记录对于分析
此过程有助于轻松识别错误数据,并加快分辨率。
,私人云服务器