本博客提供了CPI-DS中需要遵循的步骤，这些步骤用于自动读取HANA数据库中的数百万条记录，并生成每个文件中有100k（这种大小可以是动态的）记录的文件。
问题：听起来很简单，但由于CPI-DS的限制，智慧农业物联网系统，存在一个挑战，即全局变量是仅在任务实例中使用，并且在任务执行和完成后，变量将被清除。在我们的场景中，大数据实战，我们希望根据上一个任务拾取的最后一个行号来拾取和标识具有下一批10万个行号的记录。这可以在SAP Data Services中完成，但在CPI-DS中是一个挑战。
此博客文章提供了一种方法，可帮助公司在以下场景中加速协调大容量迁移和数据分析：
自动从大型数据库中读取数百万条记录，并将内容分成小块，即10万条根据需要记录每个文件，对每个文件使用动态行数限制，以优化SAP云加载例程的吞吐量和性能，对于大多数SAP云系统，建议使用文件大小。它通过在CPI-DS的不同任务实例之间保留任务变量，即在不同任务实例之间共享变量，实现任务调度的自动化。能够将行数范围追溯到文件名，以便在源和Sap云系统之间高效地协调记录，即文件名1包含记录1到100k，如果文件大小限制为每个文件100k条记录，大数据应用案例，文件名2包含记录2到200k，以此类推。
当我们迁移大量数据时，这种情况非常常见作为SAP云系统的加载程序，从各种遗留系统加载到SAP云系统中，以期望10万条记录的文件达到最大的加载吞吐量。这种方法可以很容易地将sapcloud加载文件中的错误记录追溯到数据库中的精确记录。此外，它还将加快数据问题的识别和修复，因为我们可以追溯错误到准确的源系统记录，并协调源系统到sap云系统的数据，CPI-DS的设计并不是为了在成为集成中间件后通过存储信息的方式进行操作，但它实际上可以存储链接到每个任务名称和内存ID部分的少量可变数据，这些数据可以在下一个任务执行过程中从后取用一个数据库有500.000行，对于每个任务执行，它必须读取前100.000行并创建一个名称上带有001计数器的文件名，然后下一个任务执行，将读取下面的100.000行并创建第二个文件名002，依此类推…
有两个函数可用于预加载和后加载脚本节和这些函数可以存储和检索CHAR（255）类型的内容。
在后加载时插入函数SAVEDATA（），在预加载时插入函数GETDATA（），将使CPI-DS存储一个CHAR内容，可以在下一个处理中检索。
因此在映射过程中，也可以使用检索到的值，算出并重新存储以便以后检索等等。
奇怪的是，在帮助门户查看这两个功能时，它只提到保存和读取日期信息。
但是查看与更改数据捕获（增量加载）相关的部分，我们可以看到相同的保存数据功能描述略有不同。
它一直链接这些与日期信息相关的功能，但同时它也提到可以存储"任何一段数据"。
这篇博文将有助于解释这两个功能的使用，没有日期关联。
第1步：
除了保存数据和获取数据功能，需要以下其他功能和特性：
GEN\u ROW\u NUM function
JOB\u NAME function
TO\u CHAR function
Global Variables
步骤2：
下面是读取数据库的数据流，根据存储的行号计数器选择行，并使用存储的文件号计数器生成文件。
以下是所需的所有全局变量：
$G\ U RESET–用字母"X"填充以擦除存储的值。
$G\ U file\ U counter\ U CHAR–用于存储/读取函数中的值保存\ U数据并获取所需的\ U数据仅适用于字符类型。
$G_ROW_COUNTER_CHAR–用于存储/读取函数中的值SAVE_DATA并获取仅适用于字符类型的_数据。
$G_CHUNK_SIZE–具有每个文件中所需的行数。
$G_FILENAME–具有名称中串联的计数器文件号的文件名。
$G_ROW_COUNTER–具有最新的行数number.
$G_FILE_COUNTER–具有最新的文件计数器。
第3步：
Transform SelectFields
它在目标文件中选择所需的列，大数据和云计算，并使用GEN_row_NUM函数创建一个名为COUNTER的字段，该字段将具有与从源数据库检索的数据相关的行号序列。
左侧是源数据库和右侧是所需的列和带有行号的字段计数器。
第4步：
Transform FilterCounter
在这里，它通过使用全局变量来选择行，淘客群，全局变量正好包含整个任务执行过程中计算的行范围。
第一个任务的全局变量$G\ U row\ U Counter行刑的次数是1，$G_CHUNK_SIZE携带每个文件的行限制，$G_row_计数器将始终将最后一行发送到目标。
步骤5：
预加载脚本
以下代码正在执行以下步骤：
–在代码的开头，它正在检查是否必须重置内存。
–它正在检索存储的数据。
–检查存储的数据是否为空，这意味着第一次执行，然后插入数字1。
–创建连接检索到的计数器编号的文件名。
