如何有效评估数据建模师的业绩？

这是傅一平的第347篇原创

【与数据同行】已开通综合、数据仓库、数据分析、产品经理、数据治理及机器学习六大专业群，加微信号frank61822702 为好友后入群。新开招聘交流群，请关注【与数据同行】公众号，后台回复“招聘”后获得入群方法。

正文开始

2019年初，团队开始尝试引入OKR任务体系，灵感来源于这本书《OKR工作法》，所以引入OKR，首先是大数据能做的事很多，目标要达成一致就变得非常困难，其次大数据创新的速度加快，原来按年度考核的节奏就显得慢了，最后，很多互联网企业引入了OKR进行管理，自然有可取之处，也想学习一下。

OKR的核心是目标导向，而不是KPI导向，那么如何设置目标呢？

难度+具体是当前比较公认的判断好目标的方法，但目标导向其实是个很虚的东西，你还是需要通过KR等指标来诠释这个目标，但如果没具体实践过，就很难抓得住要点，OKR也很容易形同虚设。

今天就以案例的形式跟大家聊聊团队数据建模师OKR的设置经历，希望于大家有所启示。

1、好高骛远

有个智慧精选的短信产品，能实现广告的精准投放，为了提升投放的精准度，我们的建模师需要承担模型的优化工作。

第一季的OKR设置如下：

目标：提升智慧精选的转化率

KR1:月收入突破XXX万（起始XXX万）

KR2:月平均点击率XX%，复购率目标XX%

KR3:挖掘潜在客户XXX家，并提供至少XXX个场景解决方案和效果报告,形成教育行业的市场容量动态规划图，可视化展示市场潜力、已发展区域、推荐发展区域及触达场景案例。

我们把市场的目标也放到了建模师身上，希望建模师能够与市场共进退。现在回过头来想，还是too young，too simple。很多KR完全超出了建模师的能力圈，这些KR的设置毫无意义，变成了管理者的自嗨。

2、不求甚解

我们意识到了这个问题，然后进行了KR的精简。

第二季的OKR设置如下：

KR:月平均点击率X%（起始Y%， 点击率=所有营销类需求的点击用户/所有营销类需求的发送用户（剔除宣传类需求））

但对于一个投放产品来讲，其上承载的业务千差万别，比如我们的投放横跨了招聘、零售、教育、房地产等等各个行业，而每个行业的目标用户都不太一样，给建模师设置一个包罗万象的月平均点击率KR就显得有点托大。

虽然说创新要摸着石头过河，但河太宽了容易淹死。

3、KPI陷阱

这次我们分析了所有行业的业务量情况，选择教育行业为切入点进行模型提升。

第三季的OKR设置如下：

KR:教育行业月平均点击率X%（起始Y%）

如果你是团队的TL，你觉得这个OKR设置的怎么样？

业务的最终目的是转化，但我们发现在短信这种场景，点击率不是一个很好的评估效果指标，点击率和转化率也不是一回事，而很多讨巧的方法能让点击率提升，比如找到短信点击偏好的用户，但这些用户转化其实不高。

这凸显了OKR和KPI的区别。

4、数值诱惑

我们对于投放业务进行了分析，发现短信中一般都留有商家的电话号码，因此如果在投放后用户跟商家通话率很高，则更能反映模型的实际效果。注意这不是线上渠道，暂时还无法形成投放和效果的闭环。

第四季的OKR设置如下：

KR:教育行业月平均点击率不低于X%，平均通话率X%（三季度点击率X%，通话率Y%）

但我们发现虽然通话率是很好的指标，但通话率的提升到底要设置多少才合适呢？在业务类型多样、变动非常频繁的情况下，参考上季度的通话率就缺乏说服力，一个季度后，建模师说通话率从0.20%上升到了0.25%，你说到底是业务的波动还是模型的贡献？

我们还需要继续改进。

5、囿于训练

吸取了前面的教训，我们终于祭出了评估的大法，AB测试，这在互联网企业屡试不爽。

第五季的OKR设置如下：

KR:针对教育行业通话率指标，AB测试的效果提升在2倍以上

其实这个目标对建模师已经有了很好的指导意义，但还是不够的，因为我们的目标是业务转化，而不是让建模师拿着历史数据进行AB测试的自嗨。

6、更进一步

模型从训练完成到发布到生产环境再到可用其实有不少的路要走，我们更强调的是让模型在生产中发挥出规模化价值，而不是昙花一现。

第六季的OKR设置如下：

KR:在教育行业的投放中通话率AB测试的效果提升在2倍以上，并且覆盖80%的投放工单

这是团队通过6次迭代后达到的OKR目标设置水平。

我们发现，别人家的方法要为你所用，总是要经历不停探索和修正的过程。很多时候，我们是坚持不下来的，要么流于形式，要么说这个方法华而不实。

但笔者还是有个坚定的信念：OKR的本质是就要你体现出差异化的增量贡献，否则跟南谷先生就没什么区别。

希望于你有所启示。