确认偏差是人性中最普遍的倾向之一。畅销书作家兼教授迈克尔·谢尔默总结了为什么我们如此容易受到确认偏差的影响："聪明的人相信奇怪的事情，因为他们善于捍卫自己出于非明智原因而得出的信念。"确认偏差是人类将新信息解释为对我们现有信念的确认的倾向如果它挑战了我们现有的信仰，那就忽略它。例如，如果你在夜空中看到一个发光的物体，并且你是不明飞行物的坚定信仰者，你可能会确信你刚刚发现了一个外星飞船。从2016年美国大选到科学研究，确认偏差的存在在所有方面都得到了充分的证明。而产品管理、增长黑客攻击和分析绝对不能幸免。以下是产品管理和分析中确认偏差的一些重要示例，以及如何避免这种偏差的建议。1你一看到你想要的就停止A/B测试。你正在运行一个A/B测试，以了解哪个版本的工具提示副本将转换更多用户使用你的应用程序中的新功能。你和你的同事正在进行激烈的辩论。你写了一个工具提示，她写了另一个。在健康的A/B测试形式中，一个友好的赌注正在形成。你的副本最好赢。你开始测试，然后忙于其他工作。您决定在两天后检查结果，并看到您的工具提示正在以比您的同事更高的速度转换用户。对！你停止了测试，对结果和你自己的转换文案技能感到满意，并向100%的用户推出了获胜秘诀。但要三思而后行。当你一时兴起而停止测试时，你犯了一个很大的错误：不允许测试通过达到统计显著性所需的样本量。心血来潮停止测试（可能是当结果证实了你的愿望）是根据你的信念选择一个胜利者，而不是基于统计上合理的测试获胜者。样本量和统计显著性计算器，比如来自Evan Miller或Optimizely的计算器可以帮助避免这种太常见的偏差。如果你想了解统计显著性，请阅读HBR的这篇文章。[推特"5种确认偏差潜入产品开发"]2你找出一个标准来证明成功（或失败）。你发起了一个新的活动来增加用户会话的持续时间，你对此很兴奋。想要看到它的工作，你开始在你的仪表板上寻找指标来表明用户在坚持——参与率，在应用程序中的时间，点击应用程序的特定区域，完成的事件——并发现一些指标是积极的。你认为你的竞选是成功的！也就是说，直到你的队友开始指出这项活动对你的负面影响——减少7天的保留率，减少填写档案的用户。从全局来看，你的竞选失败了。你想让竞选活动奏效，所以你挖掘了一些指标来证明这一点。你的同事认为这场运动执行不力，希望它失败，所以他找到了标准来证明它成功了。两者都是确认偏差的实例，两者都没有帮助。相关阅读：打破虚荣心指标循环用户界面工程（User Interface Engineering）的创始人贾里德·斯波洛（Jared Spool）描述了如何操纵一个统计数据以适应不同的议程：跳出率是试图验证其内容决策的人引用最多的统计数据。"我们的跳出率很高，所以我们需要写更好的内容。"或者，"我们的跳出率很高，这意味着人们会来找他们想要的东西。我们的内容已经足够好了。"你可以选择你的观点的哪一方，然后你就可以解释跳出率来支持任何你想要的论点。当你在下定决心要找到什么之后再看数据，你每次都会陷入确认偏差。相反，在任何活动或特性推出之初，都要建立一个明确的框架来评估成功与否。就跟踪哪些指标以及它们对活动的重要性达成一致意见。三。你只听你同意的用户的意见。你在做一个产品改进项目。你对项目需要做什么有一个明确的想法，但是你想收集更多的洞察力，所以你去客户成功世界收集用户反馈。在搜索支持通知单以获取对特定产品功能的评论时，您会很高兴地发现许多关于它的投诉。你觉得你有足够的证据证明你正在发展的进步是正确的。Hiten Shah在2016年SaaS Fest演讲中提出了一个避免确认偏差的建议。这是确认偏差。你想对自己正在开发的功能感觉良好，所以你过滤客户的"反馈"——特别是针对投诉的反馈，以提供肯定。在搜索客户支持票证以完全了解客户情绪方面存在问题。通常，支持通知单会告诉您客户对交互支持的感受，而不是对您产品的完整体验的感受。有一种更好的方式来获得真正的客户反馈，KISSmetrics和疯狂鸡蛋的创始人Hiten Shah在2016年SaaSFest演讲中概述了这一点。关键的收获是：使用系统化和整体化的方法，倾听客户在许多地方谈论您的产品和竞争对手的产品，而不仅仅是在客户支持部门。在开始疯狂鸡蛋的时候，沙赫用了一个登陆页面的调查，记录了多项选择题和开放式问题的组合，以全面了解客户对现有产品的感受。然后，他开发了一种产品，解决了他们的痛点，并提供了竞争对手没有的价值，因为他倾听客户的意见，而不是用他们来验证。4你为分割测试挑选了不好的目标。你的团队正在为营销计划制定目标，比如每周电子邮件通讯。您知道分割测试对于找出如何改进其性能至关重要。您决定重新设计电子邮件模板，目标是提高点击率。希望能快速获胜，以获得动力，并显示出大幅度的增长。你设置并发送出去，注意到一个设计提高了你的点击率45%！赢了。要看情况而定。Pinterest公司的成长工程师约翰·伊根在他的博客中写道："在分析实验时，我看到的最大错误之一就是过于关注百分比收益。"这是因为百分比收益虽然听起来令人兴奋，但并不能给你带来绝对的影响，尤其是当你处理的数据很少时。如果15个人在你的刷新前点击，增加45%不足以移动针。你运行分割测试是因为你知道你会从中看到结果。换言之，你的行为带有确认偏差。伊根建议测量"绝对数字"，而不是仅仅关注百分比增益。绝对数字，而不是百分比收益，可以"[帮助你]比较和衡量实验的真正商业影响[…]"，部分原因是抑制了看到一个巨大的、空洞的百分比跃升的吸引力。5你无意中引导人们通过用户测试。在每一个产品或功能的开发过程中，都会有一段时间让人们参与测试。这为人们如何实际使用你的产品提供了有价值的反馈。小心。用户测试会议是确认偏差的肥沃土壤。有时，那些被认为是沉默的观察者的人会主动帮助用户而放弃测试结果。这是很自然的！你希望你的产品成功，所以你会尽你所能帮助人们使用你的产品。土耳其一所大学的一项研究发现，即使是软件公司测试的问题也会带来偏见。我们更倾向于提出问题和场景来确认产品的想法，而不是提出挑战他们的问题。偏误问题是确认偏误进入研究的一种常见方式。如何避免呢？阻止构建产品的人运行测试会话。设计用户测试的人应该对结果不偏不倚。在编写测试问题时，请遵循用户测试中的以下提示，以获得公正的答案。确保你观察测试的同事在测试过程中闭嘴。踢出确认偏差这比我们大多数人愿意承认的更容易成为确认偏差的受害者。我们可能都会仔细挑选指标或客户反馈，提前进行A/B测试，或者一两次问一个引导性问题。了解确认偏差出现的位置是将其从工作流程中剔除的第一步。你在工作中经历过这些吗？你是如何认识到这一点并纠正自己或你的同事的？我们很想知道您是如何处理确认偏差的，以及如何避免这种偏差。