A/B测试提供的不仅仅是一个执行的统计验证。它们可以而且应该影响你的团队如何优先安排项目。团队经常使用A/B测试来验证不好的想法。他们做了一些小的改变，希望这次测试能带来大的胜利。但这些测试可能适得其反。结果是随机变化的产物（例如，不具有统计学意义）会产生无用的见解，即使是好的结果也不一定是真的，当你的获奖变量被发送到一个完整的受众。如果您坚持A/B测试最佳实践，并在运行测试之前提出正确的问题，您将了解哪些类型的更改真正值得您花费时间，并将精力集中在产生有意义的见解的项目上。统计力量的影响有很多关于a/B测试错误的文章。最常见的错误是根据统计显著性过早调用测试。有时你的测试结果是有意义的，因为有一个实际的效果，其他时候它是纯粹的噪音。毕竟，随机抽样永远不能完美地代表全部人口。为了区分一个效应和噪声，你不仅需要统计显著性，还需要统计能力。如果你有更多的统计能力，你就可以更确定电梯是真的。要获得足够的功率并正确运行测试，请自问：您认为这项改变会增加多少相关的关键绩效指标（KPI）？考虑到这种预期效果，您需要运行测试多长时间才能获得准确的结果？值得等待吗？1您认为这一变化会增加多少KPI？说你想改善你的注册流程。你有一个想法的清单，并试图决定哪些是工作。你对UI不满意，但是一个完整的修改需要一个月的时间来设计和构建。另一方面，你可以尝试不同的配色方案，这不会花很长时间改变。您的团队假设完全重新设计可以将转换率从10%提高到15%，而颜色方案的更改可能会将转换率从10%提高到11%。

2考虑到这种预期效果，您需要运行测试多长时间才能获得准确的结果？把你对上面问题的答案插入这个样本大小的计算器。在幕后有严肃的统计数据，但基本的逻辑是，较小的影响需要更长的时间来检测，而较大的影响会很快显现出来。这是一个重要的见解：检测微小的变化是昂贵的。在我们的例子中，配色方案的改变只需要两天的时间，但是我们需要24倍的数据来测试1%的绝对提升率和5%的绝对提升率。

三。值得等待吗？考虑到样本大小，您应该考虑测试需要运行多长时间才能获得可靠的结果。假设你的注册流量每天有600次访问。整个重新设计需要两天的时间来收集足够的数据，而配色方案的改变则需要更长的时间。因此，较大的项目需要32天的开发和测试，而较小的项目则需要49天。它们都需要很长时间，但完全重新设计更有潜力。

专注于潜力更大的项目去年年底，我们认为我们的注册流程可以做得更好。我们上一个注册页面上的布局（下面显示为控件）没有逻辑组织。集成方法的显示顺序与新用户最有可能相关。由于我们的注册流量没有看到数十万的访问者，我们知道我们必须测试一些我们认为更好的东西。

我们希望我们的注册转化率增加10%。在获得足够的数据后，我们研究了不同版本之间的注册率。令人失望的是，这种差异很小，而且没有统计学意义。这是一次洗礼，但没关系。我们仍然决定使用新版本，因为注册体验更干净，并使我们在未来更好地迭代和改进。这种方法对初创企业意味着什么对于年轻的公司来说，小型的优化项目是没有意义的。测试需要很长时间才能运行，并且会分散您对重要项目的注意力。你可能会看到一个轻微的上升，但你可能正在朝着一个局部最大值努力。为了走上全球最大化的道路，年轻的公司需要做出重大改变。

大公司花了大量时间研究流程，了解客户。它们更适合于小的改进，因为它们有更快地完成测试的流量。另外，如果你每天有数十万的访客，那么1%的提升意味着更多。一旦你做了几个大的测试，对你的客户有了很好的了解，并且流量很大，你就可以做一些小的优化。记住，不是每一个A/B测试都会得到你想要的结果。重要的是你要确定你的改进目标，并说明你需要多长时间运行测试才能得到正确的结果。否则，您将冒着花费大量资源来获得负投资回报的风险。