云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

文件存储_冰狱云主机_怎么买

小七 141 0

在这篇博文中,我将讨论在SAP Data Intelligence中完成任务所需的一些基础知识。这是一份备忘单,如果您喜欢某些频繁的操作,请参阅产品手册以获取有关已发布版本的完整信息。

使用SAP Data Intelligence,iot物联网,我们通常需要在Jupyter实验室环境和Modeler管道中执行类似的任务以执行这些任务。在很大程度上,我将描述如何在这两种环境中执行此操作。下面是我们将在这篇博文中讨论的内容列表:

如何在数据智能中访问本机语义数据湖(SDL)中的数据

假设DI数据湖中有以下文件,可以通过数据智能元数据资源管理器上传或访问。要访问元数据资源管理器功能,DI用户必须具有策略sap.dh.元数据分配给他们。

这些csv文件都是相同的格式,并表示我们要创建一个数据框,其中包含来自不同文件的所有数据。下面的代码段可用于访问文件并从中创建一个组合数据框。

要访问管道中的SDL文件,您可以使用Read File操作符,该操作符允许直接使用服务SDL访问SDL,并指定文件路径

如何使用不同版本的hana\ U ml库

SAP data Intelligence提供了hana_ml库已经安装在Jupyter实验室环境中。但是,如果此版本与您希望使用的版本不同,您可以安装所需的版本,大数据应用前景,就像您通常在Jupyter实验室中安装一样。

例如,当前版本的SAP Data Intelligence在Jupyter实验室环境中安装了1.0.5版。使用hana\u ml 1.0.7,您可以使用从pandas数据帧创建hana\u ml数据帧的功能,这是我在前面的步骤中希望对从SDL加载的数据执行的操作。为了做到这一点,请遵循以下步骤

Stojan Maleschlijski的这篇优秀博客文章中已经描述了创建用于运行hana\ U ml的docker的步骤。

对于python版本3.6和hana\ U ml 1.0.7,docker文件如下:

如何跟踪SAP Data Intelligence中的模型度量

SAP Data Intelligence为您提供了训练和应用模型的功能。作为培训和模型管理的一部分,在Jupyter实验室和管道环境中执行培训模型运行时,您可以轻松跟踪所选的模型度量。

当笔记本运行时,这些度量和参数可通过ML Scenario Manager与笔记本一起使用

类似的功能可嵌入到管道。Andreas Forster的博客文章非常详细地描述了这一点。

关键步骤是将所需的度量发送到Python Producer管道中的度量API:

通过ML Scenario Manager执行管道时,将创建模型度量和模型工件。然后可以通过ML Scenario Manager Executions部分访问这些内容。随着我发现更多常用的东西,我将尝试在这里添加这些东西,并希望它们对您的工作有用。

如何"窥探"SAP数据智能管道

在开发管道时,通常需要找出代码和管道执行的容器环境的情况。下面我将介绍如何为Python操作符执行此操作。

对于跟踪和跟踪管道中运行的代码的第一个问题,我们可以使用为Python操作符提供的日志机制。

在Python操作符的代码中添加以下代码片段以在不同的日志级别进行日志记录:INFO、DEBUG、,错误等

那么一旦管道运行,这些消息就可以在Modeler的跟踪部分进行跟踪:

在开发时,我们经常需要检查管道运行的环境和容器的设置。要启用此功能,可以将终端操作符附加到反馈用户输入的管道,以便我们可以在本地环境中访问和模拟访问docker容器。

创建一个新图形,例如PythonOperatorWithLogs,添加一个Python操作符并向其添加两个端口,云淘,一个用于输入,一个用于输出。将Python操作符附加到终端,云翌通信,企业应用开发平台,并将终端返回到Python操作符,如下所示:

将以下代码段添加到Python操作符以访问容器。

现在当管道运行时,右击终端,点击打开界面

这将在浏览器中打开终端访问

然后我们可以在下面的输入窗口中键入命令,例如"ls"在这里,并在上面的窗口中看到输出。