我参与了一个数据迁移项目,我需要在CPI数据服务上工作。我正在与我的CPI DS开发人员分享我在这篇博文中学到的经验教训。
Sftp目标文件名设置:在生成带有时间戳的文件名时,我发现了一个错误"转换错误"。
文件名模式应该如下所示,为固定文件名添加时间戳。
$G|U Filename='CUST| | to|char(sysdate(),'yyyyymmddhhmiss')| |'.CSV';
例如:G|U Filename='CUST_.CSV
Sftp密码问题:突然,我得到了一个错误"登录被拒绝",虽然没有在登录详细信息的变化。我试图通过chrome浏览器更新密码短语,物联网技术及应用,但出现了相同的错误。登录问题在我通过internet explorer更新时得到解决。
时间戳转换问题:我在将时间戳格式从一种格式转换为另一种格式时遇到问题。我们可以通过3种方式来实现日期格式转换,
a)使用如下所示的数据存储配置默认格式设置,
b)在数据存储的文件格式栏中输入格式类型,
c)映射级别,但与上述两种方法相比有点复杂,
当源表或文件中有空值时设置默认值。默认情况下,物联,空指示符(突出显示)值为
,云购,因此生成文件时默认值为Null。为了创建默认值为空("")的字段/列,请在字段"空指示符"中输入blank(删除空),如下所示。
用常量映射:我试图找到函数"Constant"将其映射到目标字段,但没有找到。花了一段时间后,我发现下面是映射常量值的过程。
a)整型常量。需要输入如下所示的常数。
b)Varchar类型的常数。需要用单引号输入常量,如下所示。
日期-时间转换:可以通过"默认格式"或"列定义中的格式"选项轻松实现(在步骤3中说明)。我们没有直接的日期和时间转换函数,但我们有从日期到字符串的格式转换,怎么成为淘客,反之亦然。
连接函数:我们在CPI DS映射中没有连接函数,但我们可以使用此运算符| |连接。
例如:客户.名字||"MIG"| |"test"。
转义字符问题:我出错了作为映射/转换中转义字符的"无效表达式"。
为了允许转义字符,即{在转义字符前面使用反斜杠\即\{
数据问题的通用错误:下面的错误是通用的,不会给出确切的问题。我们观察到数据问题时出现以下错误
"2019-11-05 11:38:45(E)(21204:21300)RUN-50406 | Session PROD_CUSTOMERS_SIBEL_TO_HANADB | data flow PROD_CUSTOMERS_SIBEL_TO_HANADB_PROD_CUSTOMERS_SIBEL_TO_HANADB
data flow收到错误的系统消息。来自
子进程的消息文本是
收集以下内容并发送给客户支持:
作业失败。
核心转储,如果有,则从此失败的作业生成。
a)For ex:DS任务配置为使用文本限定符(即)读取列值。如果在列值中添加了额外的限定符(即"firstname"),则会抛出上述错误。
下面是文本限定符的配置设置
b)最初字段名是硬编码的,大数据分析培训课程,如下所示,以在目标文件中作为标题行显示。成功了。后来,我收到了向结构/数据存储再添加一个字段的请求。在结构和文件头中添加了新字段,但在测试过程中出现了一般性错误(上面的错误)。
解决方案:在我使用复选框"名字包含列名"它解决了这个问题。
结论
这篇博客文章可能对有经验的候选人没有帮助,但对CPI DS初学者很有用。