谈谈通过有效的指标设计推动运营成功的方法
数据或业务分析师有时会获得“绝佳的机会”来帮助创建一些指标,或者他们可以看到创建新指标的需要并主动承担这些任务。但是,虽然构建指标很容易,但设计好的指标却很困难。指标不仅仅是跟踪,它还是组织让利益相关者围绕一个共同愿景和一个共同目标进行协调的方式,而这会带来一系列挑战。一种框架可以帮助运营团队确保正确设置指标:输入 > 输出 > 结果框架。无论是否使用上述框架,一旦设计了新指标,验证它们并确保它们通过一些测试就很重要。
定义指标基本上是将策略转化为一组“数量”。明确定义的指标可帮助确保保持在实现组织目标的轨道上。但定义错误可能会付出高昂的代价:如果您设计的指标不能完全体现战略的精神,那么组织很容易偏离其最初的目标,并且最终尽管人员做得很好(他们达到了您在创建的指标上设置的 OKR),组织根本没有处于您期望的状态:
想象一下您从北京飞往深圳市。如果从北京国际机场起飞的飞行员将航向向东调整 3.5 度,您将降落在广州,而不是深圳。如此小的变化在起飞时几乎不会被注意到——飞机的机头仅移动了几厘米——但当在整个版图放大时,最终会相距数百里。这与运营指标是一样的:目的地就是战略,指标将帮助保持在正确的道路上。如果没有正确设置指标,将很难坚持设定的旅程。
一 指标概述
指标是什么以及我们为什么需要它们,简而言之,指标可以对事物进行量化。实际上可以为任何事物构建一个指标,这也是指标设计工作的最大挑战之一:数量和质量并重。
指标可以让我们了解“流程”的运行情况,它们可以了解历史演变,可以进行基准测试,就“领先指标”而言,它们可以让我们尽早了解未来的表现
但最重要的是,指标的真正力量在于它们的一致性。它们在组织内部提供了共同语言和共同观点。他们围绕一个共同的目标联合起来。这就是为什么拥有正确的指标可能很棘手:在某些时候,一旦定义了指标它就会成为一个目标,团队会尝试推动它。当这种情况发生时,通常开始看到指标可能存在一些问题。
二 指标定义的常见挑战
定义指标会带来很多挑战,但其中两个让我印象深刻,每当从事这样的项目时都需要非常小心。
1.指标会激励错误的行为
指标可能会产生意想不到的后果,可能与公司的总体目标不一致。仔细考虑指标对行为的潜在影响,并确保其设计方式能够激励正确的行为和结果,这一点非常重要。
例如,减少通过电子邮件打开的数量是团队的第一要务。一种解决方案可能是让联系电子邮件变得尽可能困难。例如,在网站的随机页面上“隐藏”电子邮件地址,使其变得非常复杂,并以 .png 格式显示,以便人们必须再次手动输入。这很可能会减少联系数量,但这可能会产生其他意想不到的后果(例如增加“负面”社交媒体互动的数量)。
有很多方法可以解决这个问题,但它们也面临着各自的挑战:
可以设计一个配对指标,即另一个应该“强制”某种行为的指标(例如,注册数量的配对指标可能是流失率)。当开始拥有太多指标时,可能会出现一些挑战,并且它们不一定指向同一方向,很难从噪音中解读信号并决定做什么。
可以设计一个考虑多种因素的复合指标,以确保它不会被轻易操纵。在“值得信赖的在线控制实验”中,作者解释说,无论何时,你都应该建立“客观实验标准”(OEC)。OEC 是一个复合指标,考虑了实验应该移动的指标以及不希望实验出现负向移动的指标(例如成本指标、护栏指标、运行状况指标)。这将最终创建二元决策规则来决定实验是否成功。复合指标可能很难用于跟踪流程,需要了解其底层逻辑才能了解指标的变化并调试它们。因此最终会跟踪创建复合的所有不同指标。
指标设计者的任务是确保进行正确的检查,以确保指标以符合公司目标的方式移动。
2.指标具有欺骗性
指标有时候并不能真实反映客观事实。例如一家大型电子商务公司的分析师发现交易数量与总收入之间存在很大的相关性。根据这项研究,一位副总裁决定应针对交易数量制定 OKR,并要求不同的团队实现此 OKR。这些团队开始开展一些活动来提高交易数量(重新定位以前的客户、提供折扣等)。他们取得了成功,但尚不清楚这对收入有何影响。
然而,后续分析显示,该公司的大部分收入实际上来自“高价”商品,而交易量的增加主要发生在“低价”商品上,最终并没有对公司收入产生任何实际影响。更清楚地说,团队确实改变了交易数量,但这并没有转化为收入。
在这种情况下,该指标具有欺骗性。它没有考虑到业务的一个重要方面:一些交易而不是全部可以推动收入。最终公司的成本非常高:公司建立了一个指标和一个基础设施来报告它,它向所有不同的利益相关者传达并解释它,这些不同的利益相关者必须改变他们的操作来达成指标。总之,投入很多,但回报不大。
三 定义指标的简单方法
指标是一个很家的工具,但设计它们会带来很多挑战,而且通常不是一件容易的事。有些框架很有帮助,特别是“输入>输出>结果”框架。下面我将以高中生教育计划为例,以及如何使用输入>输出>结果框架来定义指标以使该计划取得成功!
1.输入是可以控制的
这就是投资回报率中的“投资”;
这就是你的输入:你在一项任务上花费的时间、用于生产某物的材料数量等;
这应该完全在控制之下。
在我们的示例中,教师数量、资历、资金等都可以是我们系统的输入的数据。
2.输出根据输入变化
输出直接跟随输入:如果从漏斗的角度思考,输出就是输入之后漏斗的下一步
它们可以通过输入移动:如果输入增加(或减少),输出将相应改变,他们能指导行动。
他们对活动具有快速响应速度,这意味着当输入增加或减少时,不久之后,输出也会相应变化,但这种变化并不完全在控制之下。
输入和结果之间存在因果关系。
这些指标通常是最难定义的。它们正好位于输入和结果之间,但定义这个“中间”的确切位置可能会很棘手,因为我们既想保留可操作性,又想保留因果关系。
与生活中的许多事情一样,一切都与平衡有关。在我们的教育计划示例中,学生的成绩、他们的一致性、他们随时间的进步等都可以是我们的输出。
3.结果是指南针
结果是最重要的——所有活动的目标是什么。它们是业务健康状况的主要指标。它们代表了驱动团队的“为什么”。采取行动通常比输出更难,需要多个输出的“帮助”,并且需要一些时间。虽然输出是应该在“日常”中跟踪的更多指标,但结果是在一段时间后想要实现的目标。
在我们的示例中,高中毕业的学生人数可能是指南针。
这里有最后的流程:教师数量、他们的平均资历、学校的资金投入有助于提高学生的成绩及其随着时间的推移的一致性产出,最终导致更多的学生高中毕业结果。
四 验证指标
无论是否使用此框架,一旦设计了新指标,验证它们并确保它们通过一些测试就很重要:
1.确保指标正确地代表了现象
第一步是确保正在考虑使用的指标能够正确代表您正在尝试评估的现象。这在很大程度上取决于您的业务、活动、公司,这里没有秘密公式。
“打开电子邮件”是否可以很好地代表“潜在客户阅读我们的通讯”?成绩可以很好地代表知识吗?一般来说,其想法是选择某种测量方法,并确保度量是可靠的(即测量是值得信赖的)并且是准确的(即它正确地描述了它应该描述的现象)。
2.确保指标得到良好分类并与其创建原因保持一致
输入指标应该直接由您控制、直接可操作。输出指标应该直接“遵循”您的输入指标,从某种意义上说,应该清楚对于一个额外的输入,输出会发生多少变化。那么你的结果和你的产出之间应该存在因果关系。如果你的输入不一定会流入你的输出,或者如果最终你的输出似乎对你的结果没有任何影响,那么系统就不会真正发挥作用,你就有可能做出错误的事情。
关于最后一点,这是最难证明的事情之一:你的输出和结果之间的因果关系。根据您愿意承担的“风险”级别,在正确定义您应该推动哪些结果之前可能需要进行一些实验。
3.确保指标不会激励“错误行为”
如前所述,您不想激励错误的行为。您不希望您的支持人员在不关心客户满意度的情况下减少支持请求的数量。您不想在不关心保留率的情况下推动销售人员进行销售。
这里的想法是使用此步骤来考虑“游戏”指标的最糟糕的可能方法,并相应地构建配对指标,即辅助指标,它将阻止任何人采取“阻力最小的路径”,这可能会对企业产生负面影响你的事。
如果您测量一些数量(例如销售额),您可能需要确保获得一些质量测量(例如保留率)。如果您在短期内衡量某些内容,您可能需要确保也从长期角度衡量某些内容。在《高产出管理》中,安迪·格罗夫以类似的方式谈论“配对指标”:
“指标往往会将注意力引向正在监测的内容。这就像骑自行车:你可能会驾驶它去你正在看的地方。例如,如果开始仔细测量库存水平,可能会采取行动降低库存水平,这在某种程度上是件好事。但库存可能会变得非常匮乏,以至于无法在不造成短缺的情况下对需求变化做出反应。因此,由于指标指导一个人的活动,因此应该防止反应过度。你可以通过配对指标来做到这一点,这样可以同时衡量效果和反效果。”
五 小结
就像任何框架一样,它不一定适用于任何东西,它不一定是最适合您的业务的。最终,框架只是一个帮助决策的工,不应该盲目遵循它,而应该尝试根据自己的情况定制它。
往期推荐