我请求使用sapdatahub检索RSS数据并将其存储在sapvora中。有很多方法可以做到这一点,下面是我如何做到的。
数据中心管道
Docker with Beautiful Soup 4&PandasPython操作符使用靓汤4Vora Avo摄食器Vora Disk Table
图1:数据智能管道
Python非常适合抓取RSS提要,大数据是什么意思,我们可以用自定义操作符包装代码,人工智能包含哪些方面,然后将其与包含所需库的合适docker映像关联。
创建docker映像
首先我们需要创建包含所需Python库的docker,并将其与一些适当的标签相关联,我们将链接到我们的操作员
图2:Docker映像
如果Docker构建失败,您可以通过诊断信息获得更多详细信息。
图3:下载诊断日志
自定义SAP Data Hub Python操作员
我已使用各种RSS源测试了操作员,它似乎是可靠。
图4:创建自定义Python运算符
如果我们将其连接到WireTap组件,我们可以快速看到数据正在按要求检索和结构化。
图5:WireTap输出
Vora Avro Ingestor
使用Vora Avro Ingestor是将结构化信息接收到Vora的一种很好的方法。我需要使用下面的固定长度字段,这具有使用HANA智能数据访问(SDA)的优势。
为了完整性,大数据包括哪些内容,快云服务器,我捕获了Vora Avro摄取器的属性,采购返利,并突出显示了我更改的字段。
图6:Vora Avro摄取器配置
执行此管道将检索RSS数据并在SAP Vora中自动创建表,我们可以很容易地验证这个表是用SAP Vora工具或Metadata Explorer创建的。
图7:RSS\u FEED表的Metadata Explorer概况
数据预览向我们展示了现在存储在SAP Vora磁盘引擎中的内容。
图8:Metadata Data Data Preview