[编者按：今天的博文来自Discover Financial Services的高级软件工程师John Coyne。Discover正在Dialogflow企业版的帮助下开发一个对话体验平台。]

我们的使命是通过提供帮助人们实现目标的银行和信贷产品，帮助人们更明智地消费、更好地管理债务和储蓄。但如果没有真正满足他们需求的客户服务，这项任务是不可能实现的。因此，我们一直在寻找提高客户满意度的方法。

我们这样做的一个方法是通过发展我们的数字服务渠道，北京大数据，如我们的应用程序内移动消息服务，为我们更以数字为中心的消费者提供服务。通过人工智能和会话自动化，我们希望提高这些频道的速度和体验。我们知道时间对我们的客户来说是宝贵的，人工智能可以成为一种工具，将更多宝贵的金钱还给他们。

为了找到合适的人工智能解决方案来帮助我们发展我们的数字服务体验，我们比较了多个选项，最终决定使用Dialogflow Enterprise Edition作为我们的开发平台。在这篇文章中，我将根据我们自己的用例概述我们比较自然语言理解准确性的方法。任何做类似比较的人都应该能够应用相同的原则或受到相同原则的启发。

我们是如何设计我们的实验的

基于我们自己的内部数据，我们知道客户通过我们的手机短信功能提出的前10-20个问题，其中许多交互可以自动化，以帮助他们在最短的时间内得到准确的答案。

对我们来说，重要的是要彻底测试这一需求的最佳可用平台，其中包括许多公共云提供商。为了做到这一点，我们想建立一个模型，让我们能够快速测试数百个迭代，并有一个反馈循环来帮助测试过程。结合性能测试，我们还开始设计解决方案，返利折扣，将安全性和客户满意度作为确保成功的关键驱动因素。

在设计实验时，我们决定围绕意图检测测试和记录实验。在会话技术术语中，意图表示用户请求背后的意图（例如"更新地址"）与bot应采取的行动（例如，将用户引导到适当的表单或文档）之间的映射。通过将意图检测作为评估平台的主要指标，云主机服务器，我们本质上是在断言，大数据解决方案，如果机器人无法准确检测意图，那么用户体验肯定很差。

在评估意图检测的性能时，根据每个意图生成了四个核心指标：

出于我们的目的，我们想尽量减少误报。我们宁愿让机器人说，"我不知道你的意思"（或路由到代理），而不是提供错误的响应。

我们使用了两个高级指标（均从0.0到1.0进行测量），以从上述核心指标中获得更多的见解：

这些指标是衡量性能的补充。例如，只要不存在假阳性，怎么做淘客，精度将为1.0，只有一个真阳性。但是，如果对同一意图的召回率很低，那就意味着它既漏掉了真阳性，也漏掉了假阳性。在这种情况下，机器人没有增加太多的价值，因为它完全错过了大多数消息，即使它在避免错误猜测方面做得很好。

培训过程

我们从一个标记的数据集开始，并用不同的短语运行了数百个测试。这些短语包括"我想支付我的余额"和"我的余额是多少"等请求。我们知道，只要能够正确地确定大致前10-20个意图，就可以满足大多数客户的要求。此外，在确定某些更复杂的意图时，我们可以确定何时将请求发送给合格的现场代理，以确保最佳的客户体验。

下图说明了培训流程的概述，也总结如下。