云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

企业邮箱_百度云怎么添加好友_三重好礼

小七 141 0

Andreas Forster在他的博客中描述了如何在Jupyter笔记本的上下文中使用HANA ML库—包括独立的和嵌入在SAP Data Intelligence中的—以及如何使用固有的SAP Data Intelligence连接来访问HANA数据库中的数据。

我将对此进行更多的扩展,云服务器 免费,并展示如何使用这些概念在SAP Data Intelligence的Python运营商中以更为集成的方式。

要求

我们考虑以下两种场景:

场景1涉及使用HANA数据库的客户,并且APL和PAL提供的算法对其足够。在这种情况下,所有数据将完全保留在HANA数据库中,但培训和预测过程将由SAP data Intelligence协调。模型和结果表也将存储在SAP HANA数据库中。场景2处理的客户也使用HANA数据库,但希望使用像Sklearn这样的开放源代码库来构建模型。在这种情况下,数据将通过HANA ML库访问,就像在场景1中一样,但它们将在SAP data Intelligence运行时环境中具体化。一个Sklearn算法将应用于它们,得到的模型将保存在SAP数据智能固有的SAP数据湖(SDL)中。在进行预测部分时,将从SDL中重新加载模型,并通过SAP数据智能(如HANA客户端操作员)将结果写回SAP HANA数据库。

对于这两种情况,我们将展示如何创建一个模板操作员,使其很容易再用于任何此类需求。我们在Data Hub/Data Intelligence 2.2.3的CAL映像上实现了我们的示例,该映像对应于SAP Data Intelligence 1908版本。CAL图像的优点是我们在景观中也得到了HANA。

数据

我们将用著名的泰坦尼克号数据展示一个分类示例。为此,首先在HANA数据库中创建一个模式TITANIC。然后,我们将为训练数据创建一个表,为测试数据创建一个表,并为来自HANA中Sklearn的logistic回归结果创建一个结果表。为了做到这一点,我们使用xsclassic环境并创建一个文件泰坦尼克号.hdbdd在基于Web的开发工作台中

文件的内容泰坦尼克号.hdbdd由

提供保存文件将激活它定义的表。查看目录视图中的表,注意您可能需要调整用户的授权,以便查看模式TITANIC以及这些表。

TITANIC数据集可以下载如下:列车.csv以及测试.csve、 g.从卡格尔遗址。下载这两个数据集后,将它们导入HANA表tab\u trainDataRaw和tab\u testDataRaw

构建Dockerfile

让我们先创建docker映像,稍后提供必要的运行时。转到Modeler并选择Repository选项卡。右键单击dockerfiles文件夹,选择"创建Docker文件",并将其命名为hana\ U ml。

下一步,我们需要Docker文件夹中的hana ml库文件。找到文件"hana\u ml-1.0.7"。焦油.gz,并在本地将其重命名为"hana\u ml-1.0.7"。然后导入docker文件夹

最后将导入的文件"hana\u ml-1.0.7"重新命名为"hana\u ml-1.0.7"。焦油.gz". 这种重命名技巧的原因是如果导入焦油.gz-文件在导入过程中会自动解压缩。双击文件夹hana\u ml中的Dockerfile文件,并按如下所示进行配置。对于脚本部分,使用

然后必须给出一些标签,大数据怎么学,其中标签hana\u ml是您的客户标签。其他标签python36、opensuse和tornado应该已经可以使用了。如果Python操作符要使用HANA ML库,那么现在可以通过将该操作符分组并使用该组配置中的相应标记来控制它。

完成此配置后,我们保存并构建docker文件。

构建自定义操作符

让我们先为第一个场景构建自定义操作符。因此,转到modeler和operator选项卡并按+(Create operator)。调用新的操作员,例如HANA\u ML\u BLOG作为技术名称,并给出描述作为显示名称。

让我们提供一个输入端口来触发操作员:

对于零件标签,我们配置HANA\u ML,告诉操作员使用我们在前一步中创建的docker映像的运行时。

零件配置将允许我们使用连接管理器并连接到连接到SAP Data Intelligence的HANA实例。点击铅笔进入编辑模式并切换到JSON:

将以下JSON内容剪切粘贴到编辑器中并保存。

在最终的tab脚本中,上海大数据,我们将提供一个可重复使用的脚本模板。

我们现在得到的是一个可以开箱即用的运算符,用于PAL或APL。

场景1:在其中使用APLPython操作符

创建一个类似于

的管道,我们在中间使用新创建的操作符。该操作员应连接到HANA DB,HANA DB易于配置。在操作员的上下文菜单中选择"打开配置",我们在这里称之为"APL Train–Classify"。

然后单击HANA Connection旁边的铅笔并选择所需的连接。

下一步,我们必须为操作员创建一个输出端口,告诉图形终止符计算已完成。

应适配操作员"APL Train–Classify"的脚本在注释"从这里插入…"之间如下所示…。去那里"。在定义操作符时,已经提供了开头和结尾的代码行,它们可以重复使用。

请注意,在数据智能运行时,数据在任何时候都不会具体化。算法完全在HANA上执行。此外,生成的模型保存到HANA数据库中的表中。

对于预测管道,您可以再次使用相同的自定义运算符。