SAFe之度量指标

本文翻译自SAFe官网，点击文末“阅读原文”可查看英文原文。

度量指标在SAFe中的位置

基于事实做决策的伟大之处在于，它们可以推翻等级制度。 

——杰夫·贝佐斯（Jeff Bezos）

1. 度量指标

---

度量指标是约定的标准，它用于评估组织在实现投资组合（portfolio）、大型解决方案（large solution）、敏捷发布火车（ART）和敏捷团队的业务和技术目标方面的进展情况。

业务敏捷性为组织设定了新的绩效标准，要求对新出现的商业机会做出快速、有效的响应。然而，为了提高速度和敏捷性，领导者、团队和业务利益相关者需要一种方法来可靠地度量当前状态，并确定他们可以做些什么来改进。因此，选择度量什么（What）以及如何度量（How）是持续改进经营业绩的一个关键的推动因素。本文介绍了一种全面的方法，可以用来度量SAFe投资组合（portfolio）或其任何元素的业绩。

2.详细内容

---

谈到度量指标，首先最重要的是要了解要度量什么。业务敏捷性的目标很明确：通过创新的数字化业务解决方案快速响应市场变化和新兴机会。图1所示的业务敏捷性价值流（Business Agility Value Stream），可视化了实现这一目标所需的步骤。SAFe的三个度量域，即成果（Outcomes）、流（Flow）和能力（Competency），直接支持了这一过程，并提供了一个全面而简单的模型来度量这一目标的实现进展。这三个度量域所提供的洞察力支持更好的决策，并有助于识别改进的机会。

图1. SAFe中3个支持业务敏捷性目标的度量域

三个度量域的定义如下：

• 成果（Outcomes）：我们的解决方案是否满足客户和企业的需求？

• 流（Flow）：组织在向客户提供价值方面的效率如何？

• 能力（Competency）：组织在实现业务敏捷性的实践中熟练程度如何？

此外，这三个度量域适用于企业的各个层面。如图2所示，它们可以用来度量SAFe投资组合（portfolio）、解决方案火车（Solution Train）、敏捷发布火车（Agile Release Train）、甚至是单个敏捷团队的绩效。

图 2. SAFe这三个度量域适用于企业的各个层面

在每个度量域中，都有一组特定的度量指标，这些指标将在下面的章节中进行介绍。

2.1 度量成果

成果（Outcomes）有助于确定一个开发团队的努力是否产生了预期的业务收益。成果可以度量外部问题，如收入的增加、客户的留存等，也可以度量内部因素，如员工敬业度。

SAFe投资组合（SAFe Portfolio）主要通过定义关键绩效指标（KPI，Key Performance Indicators）来度量成果。每个KPI都是对该投资组合中价值流的业务成果的具体的和可量化的度量。这类成果指标通常是基于具体上下文环境的，并在很大程度上取决于组织、商业模式和交付给客户的解决方案的性质。例如，客户转化率对于电子商务企业来说可能是一个有意义的指标，但对于芯片制造商来说就不适用了。然而，有些指标可以成功地跨上下文环境来使用，例如净推荐值（NPS，Net Promoter Score）。

这篇价值流KPI文章[3]为定义适当的KPI提供了指导，并为特定SAFe投资组合的战略主题（Strategic Themes）提供指导。KPI示例如图3所示。

图3. 价值流KPI通常是针对具体上下文环境的

除了价值流KPI之外，迭代目标和PI目标等本地化的成果指标也是团队和火车可以有效使用的度量指标。这些指标确保他们的努力集中在客户和业务的需求上，为他们在实现业务成果方面的进展提供反馈，为优先级排序过程提供信息，并促进工作的验收。

建立有效的成果指标需要团队、价值流、投资组合与他们的业务伙伴紧密合作，他们可以最好地定义解决方案投资应该带来的业务收益。

2.2 度量流

流（Flow）是度量组织在交付价值方面的效率指标。Mik Kersten[1]创建的流框架提供了五个指标，可以用来度量流的不同方面。由于SAFe是一个基于流（flow-based）的系统，因此这些指标中的每一个都是直接适用的。此外，SAFe定义了流的可预测性（Flow Predictability），以度量团队、敏捷发布火车和解决方案火车是如何按照他们的计划交付目标的。这六个流指标如图4所示，并将在下面进一步介绍。

图4. SAFe的六个流指标

2.2.1 流的分布

度量的是什么？流的分布（Flow Distribution）度量的是系统中每种类型的工作项数量随时间的变化。这可能包括新业务特性（Features）（或者故事（Stories），能力（Capabilities），史诗（Epics））与使能需求（Enabler） 的平衡，以及解决缺陷和降低风险的工作。

是如何度量的？一个简单的比较就是在任意时间点上计算每种类型的工作项的数量，或者通过考虑故事点的数量来计算每个工作项的大小。敏捷团队可以选择度量每个迭代的流的分布，但通常情况下，在ART及更高级别上，采用PI作为边界进行这种统计，如图5所示。

图5. 一个ART流随时间分布的示例

为什么这很重要？为了平衡当前和未来的速率（velocity），重要的是要能够跟踪每一种类型的工作在系统中的流量。过多关注新的业务功能，将会导致解决各种形式的技术债务和实现未来价值的架构/基础设施工作的能力变弱。但是，对技术债务的投资太多，可能会导致为客户提供新价值的能力不足。所以我们需要调整每种工作类型的目标容量（capacity）的分配，以帮助平衡这些问题。

2.2.2 流速

度量的是什么？流速（Flow Velocity）度量的是在一定时间范围内完成的待办事项（故事、特性、能力、史诗）的数量；这也被称为系统的吞吐量（system’s throughput）(图6)。

图6. 团队每次迭代的故事点流动速率的示例

是如何度量的？如同流的分布一样，度量速率（Velocity）的最简单方法是计算在一段时间内（比如一个迭代或PI）完成的工作项的数量。这些工作项可以是故事、特性、能力，甚至是史诗。然而，由于工作项的大小不尽相同，一个更常见的度量标准是在给定的时间范围内，某类工作项完成的故事点总数。

为什么这很重要？在其他条件相同的情况下，更高的速率意味着更高的产出（output），这是一个很好的指标，因为它表明正在通过流程改进来识别和消除系统中的延迟。然而，系统的速率不会永远增加，随着时间的推移，系统的稳定性很重要。而速率的明显下降表明有问题需要排查。

2.2.3 流动时间

度量的是什么？流动时间（Flow Time）度量的是工作流中所有步骤所耗费的总时间，因此是一种度量整个系统效率的指标。流动时间通常是度量从想法产生到生产上线的时间，但度量工作流中特定部分的流动时间也很有用，例如从代码提交到部署，以确定改进的机会。

是如何度量的？流动时间通常是通过完成特定类型的工作项（故事、特性、能力、史诗）所需的平均时长来度量。直方图是流动时间的一个有用的可视化工具（图7），因为它有助于识别可能需要关注的异常值，同时支持减少整体平均流动时间的目标。

图7. 一个关于特性流动时间的直方图示例

为什么这很重要？流动时间确保组织和团队专注于重要的事情——在尽可能短的时间内为企业和客户提供价值。流动时间越短，客户等待新特性的时间就越少，组织产生的延迟成本就越低。

2.2.4 流动负载

度量的是什么？流动负载（Flow Load）表示系统中目前有多少个工作项。保持健康的、有限数量的活动工作项（限制在制品）对于实现工作项在系统中的快速流动至关重要（SAFe原则#6）。

是如何度量的？累积流图（CFD）是一个常用的工具，它被用来有效地可视化随时间变化的流动负载（图8）。CFD显示了特定状态下的工作数量，工作项被接受进入工作队列的速率（到达曲线），以及它们被完成的速率（离开曲线）。在给定的时间点上，流动负载是该点上曲线之间的垂直距离。

图 8. 使用累积流图可视化流动负载

为什么这很重要？流动负载的增加是在制品过载的领先指标。随着系统中开始出现排队现象，未来可能的结果是流动时间会增加。出于这个原因，度量和减少流动负载至关重要。此外，很容易看出更频繁的交付可以降低流动负载，同时改善流动时间和流速。

2.2.5 流动效率

度量的是什么？流动效率（Flow Efficiency）度量的是在整个流动时间中，有多少时间用于增值的工作活动，有多少时间花在了步骤之间的等待。

是如何度量的？为了正确度量流动效率，团队、火车和价值流必须清楚地了解在他们各自的具体情境下流（flow）是什么，以及它经过哪些步骤。这种理解是在价值流映射（Value Stream Mapping）——一个识别系统中工作流步骤和延迟的过程——的帮助下实现的，如图6所示（关于价值流映射的更多信息，请参见持续交付管道一文[4]和参考文献[2]。此外，SAFe DevOps课程[5]提供了关于如何执行价值流映射的全面指导）。一旦步骤被绘制出来，流动效率就可以通过总的活动时间除以总的流动时间来计算，并以百分比表示，如图9所示。

图9. 流动效率是总活动时间与总流动时间的比率

为什么这很重要？在一个尚未优化的典型系统中，流动效率可能极低，通常是个位数。低较的流动效率凸显了系统中存在的大量浪费，以及应该解决的瓶颈和延迟。相反，流动效率越高，系统就越能快速交付价值。

2.2.6 流的可预测性

度量的是什么？流的可预测性（Flow Predictability）度量的是团队、ART和解决方案火车在规划和实现其PI目标方面的能力。

是如何度量的？流的可预测性是通过SAFe项目群可预测性度量（PPM，Program Predictability Measure）来度量的，如图10所示。PPM计算在PI中实现的计划业务价值与实际交付的业务价值的比率。有关计算此重要指标的更多信息，请参见检适与调整一文[6]。

图10. 项目群可预测性度量

为什么这很重要？较低的或不稳定的可预测性使得交付承诺变得不切实际，并且往往凸显了技术、规划或组织绩效中需要解决的潜在问题。可靠的火车应该在80%-100%的范围内运行；这使企业及其利益相关者能够有效地进行规划。

2.3 度量能力

实现业务敏捷性需要在SAFe七项核心能力[7]方面具备相当程度的专业知识。虽然每种能力都可以独立地交付价值，但它们也是相互依赖的，只有当企业对所有能力都达到很好的掌握状态时，才能呈现真正的业务敏捷性。

度量组织能力的水平是通过两个独立的评估机制来完成的，这两个机制是为不同的受众和不同的目的而设计的。SAFe企业敏捷性评估是为业务和投资组合的利益相关者设计的，以评估他们在真正的企业敏捷性这一最终目标上的整体进展，如图11所示。

图11. SAFe业务敏捷性评估

SAFe核心能力评估（SAFe Core Competency Assessments）是用来帮助团队和火车改进他们所需的技术和业务实践的，从而帮助投资组合实现更大的目标。七个核心能力中的每一个都会有一个单独的评估。团队和技术敏捷性评估（Team and Technical Agility Assessment）的例子见图12。

图12. 团队和技术敏捷性能力评估的报告

每项评估都遵循一个标准的流程模式，即进行评估，分析结果，采取行动，并庆祝成功。此外，通过SAFe社区成员可用的在线评估工具，可以实现与竞争对手的比较分析。关于评估的更多的信息，可以在度量与成长一文[8]中找到。

3 有效度量的四个关键成功因素

---

度量组织绩效是每个企业中最敏感的领域之一，这经常会受到政治和各种障碍的影响。此外，由于度量不可避免地涉及到对数据的解读，因此也会受到认知偏差、沟通问题和一致性脱节的影响。所有这些都会在度量系统中导致重大危险：如果实施不当，有些度量指标可能会弊大于利。以下的成功因素将有助于指导企业进行更有效的度量，更重要的是，取得更好的业务成果。

1. 将度量与其他探索工具结合使用

   任何度量系统，无论设计得多好，都只能提供部分现实情况，简单地增加指标并不一定能提高系统的可见性。每个数字背后都有一个故事，而这个故事往往包含了比数字本身所能传达的更重要的信息。与度量结合使用的一个强有力的工具是直接观察（Gemba）——对创造价值和满足客户需求的实际环境的观察。正式的度量和非正式的观察是相辅相成的。但如果只是孤立地使用冷冰冰的度量数据可能会导致糟糕的结果，甚至是更糟糕的士气。

2. 在支持改进决策的地方应用度量指标

   在应用度量指标时，一个常见的陷阱是因为担心度量不够全面，从而导致过度度量。尽管许多指标可以自动化获取，但随着指标数量和度量频率的增加，收集和分析数据所需的工作量也会增加。当考虑是否在你的度量系统中加入一个额外的指标时，谨慎的做法是问一下自己：“这个指标会帮助我们做出哪些现有指标做不到的决策？”如果新的指标有助于推动做出更好的决策，那么就应该把它纳入候选指标中，如果不是，就省略它。一个需要进一步澄清的问题是“我们现在就需要度量它吗？”这个问题承认了这样一个事实，随着我们在整个开发过程中需要做出的决策的变化，我们使用的指标将会（而且应该）随着时间的推移而变化。

3. 了解度量指标对行为的影响

   在积极的文化中，知识型工作者被内在的动力所驱使，提供成功的解决方案，有目的地、专精地和自主地工作。然而，当过分强调一个具体的数字指标，并且该指标与报酬或职业发展机会直接挂钩时，实现该数字就成了目标，而不是创造有效的解决方案。
   此外，成功的压力常常导致对指标的滥用。例如，流动效率可能会被用来将错过交付日期的责任归咎于某个已成为瓶颈的ART，而不是利用这一信息来识别需要解决的系统性问题。也许这个问题的根本原因是缺乏资源或优先级调整，而这是ART无法控制的。
   在上述所有情况下，SAFe核心价值观（SAFe’s Core Values）中的透明和对齐必须为有效的度量系统提供正确的基础，同时创造一个“事实总是友好的”环境。

4. 仔细说明每个度量指标

   仅仅收集具体的度量指标是不够的。如果在没有正确理解指标的情况下向利益相关者进行解释说明，可能会带来很大的误导性。例如，在度量流动时间时，工作项必须是实际有价值的功能（如用户故事等），这些功能是可以带来业务收益的；否则，火车可能会报告工作流有所改善，却难以获得任何真正的价值。

参考资料：

1. Kersten, Mik. Project to Product. IT Revolution Press, 2018.

2. Martin, Karen. Value Stream Mapping: How to Visualize Work and Align Leadership for Organizational Transformation. McGraw-Hill Education, 2013.

3. https://www.scaledagileframework.com/value-stream-kpis-2/

4. https://www.scaledagileframework.com/continuous-delivery-pipeline/

5. https://www.scaledagile.com/certification/courses/safe-devops/

6. https://www.scaledagileframework.com/inspect-and-adapt/

7. https://www.scaledagileframework.com/business-agility/

8. https://www.scaledagileframework.com/measure-and-grow/

Last update: 3 May 2022