量化IT投资成效，以数据驱动决策

文章转自：姚安峰 Thoughtworks商业洞见（微信号 tw-business-insights）

数字化时代，企业是否能够更灵活、科学地配置有限的IT资源，减少投资浪费，能将投资用到刀刃上实现突破，将直接影响企业在数字化竞争中的胜负。企业需要建立高响应力的、以价值驱动的数字化业务管理，应对不确定性，提升规模化创新能力。

Prepare for the unpredictable

很多企业经营者和数字化管理者面临着一个难题：企业的数字化业务增长速度，远比不上企业在IT领域的投资和IT团队规模的增长速度。投入没有带来显著的业务改善或内部效率提升，但企业仍在按计划源源不断地投入大量资源。

当新兴的数字化企业处于高速增长期，内部的投资浪费往往不易察觉，不会觉得痛。然而当增长遇到瓶颈，当面临在相同赛场上激烈竞争的对手，谁能够更灵活、科学地配置有限的IT资源，减少投资浪费，能将投资用到刀刃上实现突破，将直接影响企业在数字化竞争中的胜负。

想要优化投资就必须有客观的价值数据做参考，但大多数IT投资都很难及时反映到企业财务收益的变化，且最终的销售或经济收益数据是一个综合性结果，受到太多因素左右。数字化时代IT的投资决策，相比以往的主观分析和预判，更需要的是基于客观实验反馈的快速、动态调整。企业需要建立高响应力的、以价值驱动的数字化业务管理，应对不确定性，提升规模化创新能力。那么如何量化IT投资成效，用数据来驱动决策？

ThoughtWorks经过多年观察和实践积累总结提出了EDGE框架（详细内容请阅读由敏捷宣言签署者之一Jim Highsmith领衔撰写，于19年出版的《EDGE—价值驱动数字化转型》）。其中最关键的一环是，对数字化业务的战略目标、数字化产品、项目投资和重点需求都要定义恰当的“MoS”（Measure of Success），衡量投资成效，以数据支撑科学决策。

那么如何有效地设计出可用于指导决策的恰当指标呢？你可以遵循下面的分析过程：

成效指标设计过程

确定成效验证的层级

我们将成效指标的验证分为业务、产品和流程三个层级。开始设计成效指标，第一件事要确定你需要验证的不确定性是属于哪一个层级，因为不同层级的指标有不同的思考维度和分析方法。

成效验证的三个层次

验证业务成效

最顶层是企业在市场上所开展数字化业务或服务的市场表现，与任何一个具体的软件产品和系统无关，而是对整体业务成效的衡量。例如银行个人贷款产品的销量、客户复购率，无论是通过银行所提供的哪个渠道完成的，要么是通过银行APP，或柜员机，或转介的交叉销售。业务层级的指标衡量商业层面的客户发展、获利与增长、竞争与转型效果等。可以通过分析业务战略来设计成效指标，不同业务增长和竞争战略需要关注的指标不同。例如：

依靠病毒传播增长，可能关注关键词提及率、推荐率、传播维里系数
依靠粘性增长，可能关注客户忠诚度、流失率、用户生命周期时长
依靠营收再投资增长，可能关注销售与盈利增长，单客户营收、付费转化率、客户终身价值
依靠生态效应增长，可能关注生态伙伴增长，单租户价值，高价值租户
依靠深耕细分市场竞争，可能关注细分市场的用户份额与口碑、忠诚度
依靠成本优势竞争，可能关注获客成本、单件生产成本、利润率

另外也可以通过商业模式分析，找到业务在当前市场上最面临竞争和挑战，最具有不确定性的商业模式要素（例如客群细分、客户关系、渠道、资源、运营效率、合作伙伴与盈利模式等），围绕主要不确定性要素寻找合适的关键指标来进行验证。这里就不展开谈了。

业务战略和商业模式的不确定性会随着时间推移发生改变，尤其是当业务从创新生命周期的一个阶段进入下一个阶段，因而指标也不是一成不变的。指标设计者需要理解当前业务形态处于创新的探索期、增长期、成熟期还是衰退期。当业务处于探索期，这时候的新业务往往客户价值还没有得到验证，很难有快速增长和盈利，此时关键成效指标侧重早期用户与市场的评价，如口碑传播、人气，或者面向企业产品所能吸引到的品牌客户及其满意度等。而当业务进行了增长期，客户价值已经过市场验证，需要进一步加大投资获得增长，这时候的衡量指标则会侧重客户和营收增长率，业务场景与客户细分群体的覆盖，也可能会重点关注生态规模的拓展速度，客户、合作伙伴的忠诚度提升。

验证产品成效

接下来，一项数字化业务的经营往往不只包含一个软件产品，而是由一系列软件产品来支撑的。这当中可能包括客户触点层为客户直接提供服务的的移动应用、网站；也包括企业支撑服务开展的内部管理系统，例如业务审批流程、订单管理等；以及底层提供技术支持与赋能的平台，例如客户关系管理、智能推荐系统、运营监控系统等。其中每一个软件产品都在支持业务开展的整个产品组合中扮演着自己的角色，发挥自己的独特价值。作为产品的负责人需要找到关键的指标来持续衡量产品解决方案的有效性、价值实现是否达到预期和持续优化，减少低价值投资。对产品成效的衡量考虑从三个维度思考：

1. 产品核心价值（定位）

既然每个产品在支撑业务发展的产品组合中有自己的独特价值，或者说要解决的核心问题。那么这个独特价值是否在有效地被实现？例如在财务领域中，有一个提供给员工进行报销单填报的移动应用或小程序，其最核心价值就体现在人们愿意用它来填写报销，而不再选择老的或线下途径。体现其核心价值的关键指标可以是每月的提单量及其占比。再例如企业门户网站，其核心价值是向客户传递企业信息，显然越多的信息被浏览其发挥的价值就越大，因此它的核心价值衡量指标可以是月浏览信息页面数。而对于后台的，例如客户画像系统，其核心价值是通过客户洞察实现千人千面的精准推荐，那么衡量其产品成效的核心价值指标可以是基于画像系统提供线索实现的推荐转化率。

能体现一个产品价值的指标往往不止一个，强烈建议产品负责人基于对产品价值的深刻理解和全局性思考，从中找到一个能相对综合性反映出产品整体价值与发展健康情况的单一指标，也称为“北极星指标”或“首要关键指标（One Metric That Matters）”。例如美国的Youtube网站，其核心价值是为全球用户提供原创视频分享和播放服务。从视频播放这一产品的角度分析，能够衡量其产品方案价值的指标自然会有很多，例如人均播放量、总视频时长，然而Youtube选择了以“视频平均播放时长”这一指标作为衡量平台发展与核心价值的北极星指标，因为认为平均播放时长的数据改善最能够综合反映出服务为用户带来的体验和价值，能反映产品对用户的吸引力，进而能支持整体商业模式增长（如广告收入）。除此外，可以附加2~3个辅助性指标，从不同侧面衡量其发展。例如上面的画像系统，除了推荐转化率，可能同时要关注有效客户数据量与画像服务被调用次数。

2. 产品体验

数字化产品投资一大类是对用户体验的提升。而对体验的衡量，一方面是系统直接对体验影响因素的衡量，例如系统的稳定性、响应速度、可获得性、关键任务完成效率等。另一方面可以通过观察用户行为来衡量其体验满意度，例如应用的活跃度、使用频率等，又或者是用户对产品使用的反馈与评价、打分、推荐等，体现出的用户对产品的价值认可程度。

3.业务目标

产品本身也是实现业务总体战略或商业模式的一部分，尤其是那些用户触点面的应用。有时候对关键商业模式的支持与产品为客户创造的核心价值不完全一致。就像前面的报销应用，虽然核心价值是用户线上报销，但可能应用中会嵌入广告或推荐，作为其商业模式中实现广告收入或转介销售的渠道之一，那么该渠道实现的广告点击或销售转化可能也是重要的辅助指标之一。单个产品所实现的业务目标通常只是总体业务目标中的一部分。

产品成效的衡量指标同样会随着时间而改变，例如产品推出的生命周期，从试点启动期、推广期再到成熟期，其当前北极星指标可能会从用户评价过渡到新用户增长，再到用户活跃与付费转化。

验证流程（任务）成效

进一步细化，一个产品或应用系统往往有着很多功能，承载着不同的用户交互步骤或业务流程。例如一个报销单填报的应用，有一个注册和登录的流程，也会有保险单填写与提交的流程，可能还会有进行历史单据查询下载这样的交互任务。根据我们的经验，无论什么样的流程或交互任务，简单或复杂，从开始的第一步到最后一步的目标达成，大多数都可以被抽象成一种“漏斗模型”，如下图所示。基于这个模型抽象，设计者可以尝试从三个方面找到最需要关心的，有利于验证方案改进效果的成效指标：

流程（任务）的指标分解

访问/转化/达成：商品购买流程开始于商品搜索，到进入商品详情、添加到购物车，最后完成订单支付达成用户的购买目的。流程的每一步用户都可能停下来不再继续，或失败折返。从访问触发开始，每一步骤的转化以及整体流程目标达成率的衡量，帮助验证该流程设计的有效性，为什么流程中断或用户放弃，从而指导设计做出改进。
流程效率：例如用户在某个重要步骤的停留时长或系统处理时长、每个步骤的完成次数、出错率，或者用户对某个单一步骤的反馈，以及整个流程总体的完成耗时、任务步数、执行吞吐量以及费力程度等。这都是对实际用户完成所设计的流程或任务效率的衡量。
技术指标：技术维度也能体现一个产品解决方案的价值和有效性吗？显然是必不可少的，一些关键流程步骤的技术指标表现会直接影响到产品的用户体验和业务价值实现，更不要说那些定位就是提供技术能力服务的底层平台型产品。例如对于社交产品中用户之间发送消息的任务，消息的延迟、消息丢失率这样的技术指标是关键成效指标。例如开放银行所提供的开放API，其API的访问稳定性、响应速度显然是要考虑的关键成效指标之一。

从业务商业模式，到根据产品组合分解到单一产品的价值与体验，再分解到具体流程的步骤效率，这提供了一种纵向的，自上而下、由粗到细的分析模型。在每一个层级上，又会有不同关注点和类别的指标。根据获得价值的、被投资所影响的主体对象不同，可进一步参照下面的“企业价值贡献模型（EVC）”进行横向分析，定位识别到合适的成效指标。

基于价值主体的“企业价值贡献”模型

企业价值贡献模型（也称为“价值三角”）

客户价值

注意这里的“客户”泛指购买或实际使用企业所创造产品和服务的组织或人群，即通常所说的客户与用户。需要强调的是，在任何一个层级设计成效指标，首先要考虑的应该是客户价值指标，因为有效解决客户问题是产品得以有生命力持续发展的基础。相比企业自身获益，首先考虑客户价值是更加立足长期的思维方式。企业价值贡献模型将客户价值指标分为三个更细的方向：

客户效益指标，衡量通过产品和服务为客户的业务带来的收益或经营业绩上的改善，例如针对企业客户、小微商户，帮助他们获得更多客户、取得业务增长，典型的指标是对客户通过我们提供的服务所完成的交易量、收入利润、业务成本等的衡量；
客户体验指标，是对那些潜在会影响到客户服务体验的因素的衡量，典型的如服务响应速度、关键任务效率、易用性、服务连续性、稳定性和故障等方面的指标；
客户行为指标，当产品和服务为客户带来的直接效益或体验因素难以获得数据时，可考虑从观察客户的行为表现来间接评判客户对产品价值的认可度，典型的例如用户评价、活跃度、用户推荐和传播、忠诚度、客户主动内容贡献等方面的指标。

企业效益

多数人更容易想到的价值是IT投资给企业自己带来的好处。相比客户价值指标，企业效益指标的优点是更直接反映了企业的经营成果和能力，反映企业当前生存与发展的健康情况，往往相对更容易获得数据。但也正因此，企业效益指标大多反映的是相对滞后的结果。从短期来看创新给客户带来的价值与为企业创造的效益并不总是一致，如果一味追求企业效益容易带来短视，对长远发展可能适得其反，因此它应当是第二位考虑的。企业价值贡献模型将企业效益也分为三个方向：

商业收益指标，衡量企业从投资中获得的经济收益，典型如业务收入、利润、成本、资产回报等比较传统的财务指标，以及市场份额、交易量等总体性的业务结果指标；
业务成长指标，衡量企业的业务、产品在未来可持续成长的动能，往往它反映的是产生最终业务结果的众多因素中某一些局部因素的改善。相对商业收益指标的滞后性，业务成长指标能够更加前置地反映业务经营或产品发展的健康情况。典型例如会员量、订阅量、单位交易成本、单客户收益、交易频次、流失率和客户转化率等；
内部改进指标，衡量企业内部生产与经营能力与持续改进。典型的指标例如对生产或交付周期、内部安全与故障、产能与效率、技术转化和复用，以及对内部员工投诉、离职率等方面的衡量。

外部效应

“外部效应”是一个经济学术语，是指一群人的决策和活动对除了它的目标影响对象和自身以外的另一群人产生的有利或不利影响。企业在为客户和自身创造价值的同时也需要谨慎考虑其对周围环境产生的潜在影响，作为决策的考虑因素之一。这可能包括以下几个方面：

供应链影响指标：衡量企业IT投资给上游供应商、下游分销商带来的影响，例如供应商的销量与利润率，供应商周转率、应收款周期等；
社会效应指标，衡量创新投资在社会上产生的正面或负面影响，例如舆论、关键词排行和潜在的监管与法规违规等；
环境影响指标，衡量企业经营或特定解决方案对周边生态环境产生的影响，例如对于自然资源的利用率，单位生产的污染排放量等方面带来的改善或恶化

以上的三大类九个小类，从不同的价值主体出发对企业投资可能的价值贡献和对应指标进行了分类，为指标设计者提供另一种分析模型，可以与前面纵向分层的分析相结合。根据企业千差万别的产品形态和商业模式，以及其所处的发展阶段，需要决策者和设计者回到企业真实目的和创新价值的初心，只要这些真正想清楚了就不难找到贴切的数据指标来衡量其成效。

什么是好的成效指标？

最后简单谈一下什么是好的成效指标？下面几个基本的原则是必须要遵循的：

衡量成效，而非产出：这是最最基本的原则，指标一定是衡量价值，要能反映投资目的的实现效果，而不仅仅是完成了计划的工作。相比前面的举例，像交付的需求或特性个数、过程中缺陷数、产品成功上线，虽然很容易衡量，但不是企业投资的真正目的；
不要太多：指标贵在有相关性，能传递信息，而不是多，过多的指标反而让人失去焦点，产生投资浪费。对每一笔投资的衡量，除了北极星指标，多数情况下再有1~3个辅助指标就足够了；
定量、易获取：指标的衡量结果尽可能要是客观量化，是能通过系统获取的。只有在创新产品早期推出的时候，可能很难得到有参考意义的量化数据，可以考虑重点关注定性的用户评价；
有限时目标：衡量成效时，给出的指标都需要指明在特定时限内期望达成的目标值。例如3个月上升5%，和1年后才上升5%的成效是完全不同的，周期越长，受其他因素的干扰也就越大，因此时限不应太久；
效果反馈快：不要去找那种上线后需要积累很长时间才能观察到变化的指标。例如产品核心任务的体验优化后，与其观察用户流失率的变化，不如首先观察任务完成效率或投诉率的变化，能更早得到反馈；
可行动指标：好指标的数据变化能指导我们采取行动，例如“活跃用户数占比”，或“每月新增用户的活跃用户占比”这样的同期群分析指标，这类能指导行动决策的指标称为“可行动指标”；相反，哪些缺乏指导意义，通常只会让人自我膨胀的数据则称为“虚荣指标”，典型的比如“用户量”、“访问量”、“下载量”等持续增长的总量数据，不应该采用；
相对比率与变化率优于绝对值：例如“高价值用户占比”、“高价值用户增长率”相对于“高价值用户总数”，相对比率值及其变化率所能表达的含义，对决策指导性永远优于当前绝对数值。

管理者和产品设计者一定要意识到，一旦定义了投资的成效指标，并以此为目标，团队就会为了改善指标结果而做出行为选择，这时一些指标有可能会导致短期行为，产生负面效果。例如为了提高单客户收益而导致客户体验和满意度下降；或者为了提高付费用户转化率而牺牲了整体用户规模的增长。因此在设计指标时，建议为北极星指标附带一个“围栏指标”。例如在衡量单客户收益增长的同时添加一个客户流失率指标。以此跟踪观察投资潜在的负面影响，避免在达成目标的解决方案选择上采取短视行为。最终，针对每一个待验证成效的对象，无论是在哪一个层级，给出下面这样一组由北极星指标、群星指标与围栏指标构成的指标集。

针对单个成效验证对象的指标集构成

有了有效的、能及时反馈的指标数据做支撑，就能够真正意义上实现EDGE框架所倡导的价值驱动数字化管理，动态决策，提升IT投资回报。不仅如此，以上指标设计的过程、模型和原则也可以用于企业落地OKR目标管理的过程中，指导不同组织层级根据目标提出合理的、基于成效的关键结果指标。