机器人流程自动化（RPA）是实现业务流程自动化的支柱。SAP intelligent robotic process automation提供了端到端自动化流程的框架和工具。欲了解更多有关SAP Intelligent RPA的信息，请访问官方网页"Intelligent RPA"。

在这篇博文中，我将介绍以下内容，

什么是SAP Intelligent RPA Surface Automation现有的一些功能令人兴奋的新功能下一步是什么

表面自动化

表面自动化是指使用标签、控件、图像和图标等视觉元素的UI自动化，即"停留在表面"，而不是使用DOM元素{ID、类、标记等}或特定于应用程序的API。

为什么以及何时使用表面自动化

使用的技术

机器学习光学字符识别图像处理算法

现有特点

1。标签提取[自1910年发布以来可用]-此功能使bot开发人员能够选择页面上的可视标签[文本]作为一个项，然后该项可以与操作{单击、设置等}关联。让我用一个用例来解释这个特性，假设您想创建一个bot，它将登录到Citrix环境中的SAP应用程序。在此用例中，由于VM限制，您无法访问登录应用程序的基础API或DOM属性。[请参阅下图–所有红色框都是可识别的文本/标签，操作也与相应的项/标签关联]。

2。模板匹配[自2002年发布以来可用]——此功能使bot开发人员能够选择一个模板{图标、徽标等}作为区域，并从中创建一个项目。在场景[算法]后面，模板和应用程序的屏幕截图之间将进行像素对像素的比较，最高匹配区域将作为已识别的模板返回。此模板与任何其他项目类似，您可以在其中执行操作{单击、设置等}。[见下图-所有红色框都可以创建为模板]

新的令人兴奋的功能

多模板匹配，顾名思义，是模板匹配的增强。它使BOT能够在出现多个模板时唯一地检测模板。在下图中，两次出现"search"字段{在黄色框内}和两次出现gear图标{在红色框内}。所以在这两种情况下，模板匹配都会很差，返利淘联盟，因为它不支持这个用例。

所以为了扩展对这些用例的支持，我们实现了一个新的算法"多模板匹配"，它的实现考虑了模板周围的项目[下图-用绿框突出显示]，并询问bot开发者使用最近的项标记模板。这使bot开发人员可以根据应用程序的运行时行为灵活地选择"label by"项。

假设bot开发人员希望唯一地识别second gear图标，并且要做到这一点，他们应该遵循以下三个步骤

请参见下图中的视觉说明。

最左边的部分–模板[红框]由最近的项目"状态"[绿框]创建和标记，模板的中间部分-距离[d1，d2]由项目[绿框]测量，最右边部分-具有最小距离[d1]的模板返回[绿框]。

标签提取的现有实现，唯一标识页面上出现一次的单词/标签，并且不支持出现多个[多个]单词/标签。

在下图中，如果您关注页面上的文本"创建"和"搜索"，则每个单词只出现一次。在这里，标签提取将唯一地标识每个单词。

但是当出现多个单词"Search"和"Create"[下图]时，标签提取将始终选择最上面的单词，这将导致机器人程序的行为模棱两可，因为这是一个不受支持的用例。为了应对这些挑战，全球云购，云计算与大数据，我们已经介绍了对这些用例的支持。

实现"从多个匹配中检测正确的文本"将帮助机器人在运行时唯一地识别设计时项目[文本]，即使在项目多次出现的情况下也是如此。

此实现通过询问文本位置在运行时沿高度{y轴}和/或宽度{x轴}的预期变化。

有两种方法，机器人开发人员可以使用此功能

I.使用设计时坐标–

在设计时，当您通过选择页面上的文本{标签提取输出}来创建项时，相关的坐标也将被捕获，如果bot开发者决定使用此功能，他们将必须提供沿宽度和/或高度的预期变化[百分比变化]{工作室内启用的参数}。

在运行时，文本将返回指定区域内和最小距离内的文本从设计时坐标来看，

在下图中，文本"search"是目标项，在运行时，h{expected%change along the height}和w{expected change%along the width}，为唯一识别目标文本，"搜索"将扫描以蓝色突出显示的区域，有享云商城，如果文本位于识别的区域内，物联网系统，

在工作室内使用此功能的步骤[下图]。

步骤1。通过选择文本创建项目，然后"右键单击+关联到新项目"

步骤2。验证文本的相关坐标{X，Y}。[切勿删除这些值]

步骤3。提供预期的变化值以及高度和/或宽度{h和w值是变化的百分比，范围从0到100}。

II。使用项目标签–与第一种方法类似，但不使用设计时间坐标作为参考点，该方法使用"项目标签"中心的偏移距离作为参考点。

偏移距离是目标项目中心和项目标签之间的距离。

在下图中，文本"创建"[黄色框]是项目，最近的文本"状态"[绿色框]是项目标签。