云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

消息队列_河北云主机_代金券

小七 141 0

在SAP数据智能(DI)的诸多品质中,我个人最喜欢的两个品质是灵活性和互操作性,我们将利用这两个特性在DI Modeler中创建一个新的自定义操作符,并添加一个特殊的配置参数来选择DI连接管理器中定义的一个连接。

DI连接管理器应用程序提供了一种非常友好的方式来装载和管理构成您的数据的所有外部系统星座。用户可以从不断增长的连接类型列表中选择,填写所需的参数和凭据,然后瞧:系统已连接。

DI Modeler中的许多标准操作符已经用于某些连接的系统,具体取决于连接类型。读取文件操作符就是一个很好的例子(com.sap.storage存储.read)可配置为从兼容存储系统(如S3、HDFS、GCS等)中提取文件…用户只需单击"连接"下拉菜单并从列表中选择一个连接的系统即可。

非常简单,不是吗?现在的问题是:如何使用新的自定义操作符实现相同的功能?这篇文章就是对这个问题的回答。

这篇文章的步骤已经在Data Hub 2.7.1和Data Intelligence 1911.0.22中执行,但是应该对任何Data Hub≥2.5和Data Intelligence 19**版本有效。推荐浏览器:Chrome。需要具备DI连接管理器应用程序的基本知识。需要DI Modeler应用程序的基本知识。第6步需要掌握Python编码语言的基本知识。

在本例中,我们假设我们的新Python操作符包含一个虚构的心理历史算法,该算法需要在存储所需基础数据的S3存储桶中读写数据。操作符的用户应该能够轻松地从DI连接管理器中可用的S3连接列表中选择首选的S3存储桶。

要添加新的自定义操作符,请单击DI Modeler GUI左侧的操作符选项卡,单击符号"+",大数据概念,然后填充相应的创建操作符窗口。如下图所示,此示例使用Python3运算符作为基本运算符,但我们在这篇博文中展示的内容是有效的,无论选择的是基本运算符。

每个DI Modeler运算符都有五个可编辑的宏属性:端口、标记、配置、脚本和文档。为了实现我们的目标,我们需要修改操作员的配置参数,北京大数据研究院,点击操作员编辑窗口的配置页签,点击铅笔符号,编辑定义操作员配置参数的配置方案

这一步对于那些不知道所有细节就急于实现目标的人来说是一个捷径:只需单击右侧的按钮即可激活配置模式的JSON编辑器,如下图所示,并将整个属性字段替换为我在图像后面为您放置的JSON片段。

现在您可以直接跳到步骤5,除非您想知道所有细节…

首先,我们想添加一个名为S3\u connection的新参数。它应该是一个泛型对象,包含另外三个参数:configurationType,connectionID和connectionParameters。configurationType只能提供两个可能的字符串值:"Manual"或"Configuration Manager"。configurationType的意图很明确:用户应该能够选择一个预配置的连接或提供所有连接参数手动。

根据configurationType的值,剩下的两个参数中的任何一个都应该是可见的。如果用户选择"Configuration Manager"选项,那么connectionID应该提供可用连接的列表。在引擎盖下,这个列表应该通过查询DI连接管理器来动态填充后端。或者,用户可以决定手动配置并在connectionParameters结构中填写所有必需的参数。这种结构的内容取决于连接的类型:例如,淘客平台,对于S3,我们有一个端点、一个区域、一个存储桶、一个访问密钥、一个秘密密钥等等…

这听起来容易混淆吗?别担心,我第一次也是这样!但是,如果我们使用Config Schema editor GUI一步一步地进行,游戏返利,那就相当简单了。首先:单击"+"符号添加一个新属性。

然后,调用新属性S3\u connection并填充所有其他字段,如下图所示。如前所述,数据类型应该等于Object。

现在通过单击相应的箭头符号向下钻取S3\U连接内容。

编辑器窗口现在显示S3\U连接对象的空内容。通过单击"+"符号添加第一个名为configurationType的属性。

按下图填充所有字段,返利软件,不要忘记添加两个可能的属性字符串值:"Configuration Manager"和"Manual"。

让我们添加第二个名为connectionID的属性。这是一个字符串参数,其可能值列表来自在以下URL中公开的DI连接管理器后端:

请注意,不是从我们筛选的服务获取所有可能的连接connectionTypes=S3,因为我们只需要这些类型。要获得可用连接类型的完整列表(编写时为34,正在计数…),只需打开DI连接管理器应用程序并单击"连接类型"选项卡。

完成connectionID参数的定义,别忘了用condition configurationType=Configuration Manager设置其可见性条件。