本博客属于智能系统设计系列。你可能还对上一篇博客"机器学习项目的5个挑战"感兴趣

智能系统的指导设计原则之一是授权最终用户。如果我们希望人们信任机器，我们就需要分享有关底层模型的信息以及算法结果背后的推理。在商业应用中，大数据应用前景，这一点更为重要，因为用户要对自己的每一个决定负责。

与此同时，人们普遍认为，智能系统需要具有一定的透明度。甚至还有一个新名词：可解释人工智能。但这只是个开始。作为设计师，我们需要问自己，可解释的人工智能如何与用户交互联系在一起。当我们解释来自内在智能的结果和建议时，我们需要考虑什么？我们如何才能让它成为一个无缝的体验，让用户感觉自然？

在我们详细讨论如何形成解释之前，人工智能工作，让我们退一步问问自己，我们是否真的需要解释UI上显示的所有内容。

我们从最近的用户测试中学到的是，如果预测的质量很高，风险很低，用户可能不会期望得到全面的解释。

我们的测试场景：保罗在一家大公司工作，他的电子邮件有问题。当他打开一张IT支持票证时，系统会帮助他根据问题描述选择正确的类别。

保罗可以看到供应商B与竞争对手的评级明细

混合：为什么我最喜欢的供应商XYZ不在名单上？

这是一个复杂的情况。乍一看，这似乎是个局部问题。但是Paul需要理解全局规则和局部效应来解释这种情况。

渐进式披露的例子

解释的主要内容以简洁的形式显示在主屏幕上，并可以选择在辅助屏幕上向下钻取到更详细的信息。这种方法的好处是，用户可以享受更简化、更紧凑的用户界面，只要他们需要，就只需要关心细节。

你可能会问自己需要设计多少层次的渐进式披露，什么是大数据，以及在每个层次上需要提供什么样的信息。这在很大程度上取决于您的用例、角色和选择的自动化级别，因此没有通用的模式。然而，下面的问题可能会帮助你理解你自己可解释的人工智能设计需求的范围，甚至促使你探索全新的想法。

用户是否希望得到解释？如果操作的风险很低，并且结果很容易回滚，那么用户通常不会对查看系统方案的解释感兴趣。你能提供什么样的解释？如果系统使用特定的机器学习算法生成项目列表，我们至少要解释两件事：一般模型（全局解释）和模型对每个行项目的应用（局部解释）。哪个用户在哪个上下文中需要哪个级别的解释？根据用例的不同，用户可以在不同的上下文中需要不同类型的信息。用户的角色是关键，不同的用户角色可能需要不同类型的解释信息。如果你需要不止一个层次的细节，可以考虑使用渐进式披露的概念来解释。有没有其他的互动可以扩展解释？有些相互作用是解释的自然延伸。例如，花时间理解系统逻辑的用户可能对提供反馈感兴趣。或者，在项目级别（本地可解释性）探索结果的用户可能对该级别的结果比较感兴趣。是否有一个解释的生命周期，它看起来如何？如果你使用的是渐进式披露，问问自己是否需要时间维度。我们假设，随着用户获得更多的系统体验，对模型的重复（静态）解释的需求会随着时间的推移而减少甚至消失。例如，一旦用户理解了底层算法的主要原理，云服务器吧，全局可解释性级别的解释可能会随着时间的推移而消失或隐藏。

不言而喻，物联网专用卡，您需要向用户解释您的整个AI逻辑。但单凭这一点还不足以让人工智能成为引人入胜的用户体验的一部分，从而为您的解决方案增加明显的价值。如果您希望用户接受新的智能功能，那么您的解释需要作为UI的一个集成部分进行仔细设计。这意味着告诉用户在他们特定的环境中他们需要知道什么——在适当的时间提供足够的信息？

当然，可解释的人工智能要比我们目前所讨论的多得多。写解释文本有哪些挑战？可解释人工智能在智能系统中建立信任的作用是什么？可解释的人工智能如何与用户反馈功能相结合？我们将在接下来的帖子中回到这些话题，我们很高兴听到您在设计可解释的人工智能系统时的亲身经历和面临的挑战。

请继续关注，并随时在评论中添加您的想法。