当用户不再警惕并开始上瘾时，aha时刻是产品生命中的一个神话点。在Facebook的色拉时代，该公司"发现"如果他们能强迫用户在10天内交7个朋友，这些用户很可能会长期保留。目前还不清楚这个故事是否是虚构的，但有足够多的产品人士相信这一点，让我们稍作停顿。作为一家公司，作为一个博客，我们长期以来与aha moments有着复杂的关系。一方面，这个想法让产品经理们对找到用户体验的拐点感到兴奋。另一方面，对于产品经理来说，这是一个奇怪的职业，从定义上说，他们应该是在不断的磨练，而不是一个丰富的发现。最终，aha时刻是在寻找改进产品的方法，或者发现如何使产品更贴近用户的兴趣。但这并不是一个非常严格的方法。然而讽刺的是，我们建造了一个"啊哈"时刻发生器…有点。再严格一点。这就是Signal的故事，一种比人类更快地处理数字的产品，但它之所以成功，是因为它的开发围绕着一个非常人性化的问题。而这个问题正是我们的用户一直在问我们的问题。不可预知的事情一年半前，我们的机器学习团队开发了Predict，一款预测用户完成某些动作的可能性的产品。我们的通知功能很受欢迎，所以我们认为给客户一个基于机器学习的方法来识别他们的最佳用户并重新吸引他们将是一个成功的选择。基本上，Predict根据用户之前所采取的行动以及这些行动与目标行为之间的关联程度，给他们一个A、B、C或D等级。如果你希望有人进行应用内购买，你可能倾向于向他们发送通知。通过预测，你可以知道谁是A谁是D。因此，它是一个强大的工具，它的预测是基于从数万亿个数据点的洞察。通过创建一个机器学习产品，我们将Mixpanel帮助世界以前所未有的创新方式学习数据的承诺加倍。但有些用户对Predict感到失望。他们不知道把字母成绩和什么联系起来。为什么鲍勃是"A"，比简"C"更可能执行某个动作？就像一个孩子在玩耍，这个问题总是会回来，但为什么呢？Mixpanel的机器学习工程师Marshall Louis Reaves总结道："最大的反馈是人们不想知道谁有可能皈依，而是想知道为什么。这个问题背后的问题是：我怎样才能使我的产品更好？"Predict帮助Mixpanel的客户找到他们最有价值的用户并让他们采取行动，但最终，它并没有解决他们的核心问题。不管aha时刻有多误导，它的潜在情绪是这样的。因此，当开始使用Mixpanel最新的automated insights产品时，机器学习团队做了他们最擅长的工作。他们利用各种酷炫的数学方法为产品经理做重担，并将数据科学家从另一个特别的请求中解救出来。但他们也一再回到产品经理的核心问题上，马歇尔提出了这个问题：如何使我的产品更好？。在信号方面，马歇尔认为Mixpanel已经用力量和目的回答了这个问题。回来吧但首先，酷的数学。Predict不是一些用户想要的产品，但它只是一个开始。即使他们不知道你的产品是成功的。正因为如此，机器学习小组认为他们可能已经做了一些关于信号的作业。马歇尔说："我们最初认为，我们可能要做的是拉开我们设计的权重的帷幕，从而真正建立预测模型。"其中最大的问题是模型复杂难看，难以解释。它通常以难以采取行动的方式呈现数据。"作为一张地图，Predict的内部工作是详细的，但很难阅读。在这里，机器学习团队被迫回到激发信号的问题上：我如何才能使我的产品更好？"我们回到画板前思考，"马歇尔说我们可以做哪些类型的假设检验或因果推理来试图揭示那些高度可操作且易于解释的结果。我们不想让你成为一名数据科学家才能了解到底发生了什么。"人们需要做的分析产品越少，他们就可以完成更多的构建和优化。或者，正如马歇尔所说，"我们能为你打造的最好的产品就是Mixpanel机器学习团队，它会在你的肩膀上观察并告诉你结果的意义。"该团队需要一个易于提供投入的公式，但也能提供强大的输出。他们越是深入研发，就越发现自己一次又一次地返回到某种查询格式：在完成动作a的Z天内，执行X操作，至少Y次，与目标B有什么关联？这个公式感觉是对的。这很容易理解。它是专门用来衡量参与度的。马歇尔说："这种形式很受人们的欢迎，因为它有参与的成分。"Z天内至少Y次。它还有一个活动焦点，即action X。它在产品分析领域已经有相当长的时间了。"只有一个问题。他们是不是不鼓励狩猎？ 不仅仅是一时的创建aha矩生成器的问题在于它优化了错误的行为。它没有问，我怎样才能使我的产品更好？它问我，我如何神奇地获得或保留一批用户？"那个世界上有很多争议，"马歇尔说啊哈时刻存在吗？它们不存在吗？事实证明，对于公司的成功而言，可能没有一个关键的行动是至关重要的，而且你还不知道。"不过，也许还有更好的办法。在building Signal中，机器学习团队意识到他们的产品并不是要用数学来识别一个神奇的瞬间。它是关于发现影响用户生命周期的几个时刻。在制作Signal原型时，团队一直在挖掘Mixpanel自己的数据。他们想知道某些操作如何影响Mixpanel用户在移动应用程序上的保留，例如添加移动仪表板或接收异常通知。"我们发现了一些非常有用的东西来运行我们的移动应用程序数据的早期版本的信号，"马歇尔说我们意识到动作的频率和时间可能有细微差别。也许这不是一个令人兴奋的时刻，但它对用户生命周期仍然很重要。"例如，该团队发现，查看登录页面然后注销就表明Mixpanel移动用户的长期保留。这是一个基本的洞察信号可以告诉你：如果移动应用程序的目标是长期保留，Signal说查看登录页面和注销与成功高度相关。但这也是显而易见的。"如果你只看一个特定的值，那就不太有趣了，"马歇尔说比如说，被保留和这一特定行为之间的最大关联是什么，你会发现在14天内它比一次更大。"当然，登录几次是一个很好的兴趣指标。但登录次数太多怎么办？结果，那是痛苦的表现。虽然查看移动应用程序的登录页面至关重要，但同样重要的是不要查看太多次。因此，与其让公式至少是Y倍，不如在信号方面有更大的灵活性：不超过Y倍，确切地说是Y倍，等等。马歇尔说："我们开始注意到，当我们超出了典型计算的范围时，频率在某些情况下确实很重要。"这里有一些独特的例子，如果您过早地做了太多的事情，那么它是不好的，或者与低保留率相关，但是在用户生命周期的过程中，该操作本身是很重要的。"换句话说，当涉及到驱动用户操作时，实际上会有太多的好东西。这就是为什么人们在建立产品体验时需要挑出为什么？，但从生命周期的角度来看，而不是暂时的。一个合适的工作工具任何一家有钱的科技公司都可以走出去，建立一个数学严谨的机器学习团队。我们也喜欢认为我们是有目的的。使用Predict，Mixpanel构建了一个强大的产品，但是当它失败时，我们学到了一些关于用途的东西。在开发Signal的过程中，机器学习团队一次又一次地回到每个Mixpanel客户最根本的问题上：如何使我的产品更好？如果信号没有回答这个问题，那就需要技巧了。随着时间的推移，团队能够创造出非常有用和可操作的东西。他们能够避免"aha时刻"的谬误，并激励产品经理严格工作，但也比以往任何时候都快。马歇尔说："我有一句老者最喜欢的名言《没有国家》安东说，这两种工具都是正确的制造任何产品都是一派胡言。先进的数学和机器学习可以达到我们产品的10倍功率，但它也可以分散我们的真正目的，大量的肌肉弯曲和很少的提升。经过艰苦的学习，我们的机器学习团队通过不断地确保它是一个适合工作的工具来接近Signal。Signal的优点是：我们为您构建正确产品的过程将大大缩短您为用户构建正确产品的过程。使用Signal，团队可以很快看到产品和行为中的最佳改进机会。"通常，产品经理对他们产品的工作方式，以及