如何有效评估数据建模师的业绩？

star2017 1年前 ⋅ 5203 阅读
Kpi, Indicators, Performance, Achievement, Analysis
2019年初，团队开始尝试引入OKR任务体系，灵感来源于这本书《OKR工作法》，所以引入OKR，首先是大数据能做的事很多，目标要达成一致就变得非常困难，其次大数据创新的速度加快，原来按年度考核的节奏就显得慢了，最后，很多互联网企业引入了OKR进行管理，自然有可取之处，也想学习一下。
OKR的核心是目标导向，而不是KPI导向，那么如何设置目标呢？
难度+具体是当前比较公认的判断好目标的方法，但目标导向其实是个很虚的东西，你还是需要通过KR等指标来诠释这个目标，但如果没具体实践过，就很难抓得住要点，OKR也很容易形同虚设。
今天就以案例的形式跟大家聊聊团队数据建模师OKR的设置经历，希望于大家有所启示。
1、好高骛远
有个智慧精选的短信产品，能实现广告的精准投放，为了提升投放的精准度，我们的建模师需要承担模型的优化工作。
第一季的OKR设置如下：
目标：提升智慧精选的转化率
KR1:月收入突破XXX万（起始XXX万）
KR2:月平均点击率XX%，复购率目标XX%
KR3:挖掘潜在客户XXX家，并提供至少XXX个场景解决方案和效果报告,形成教育行业的市场容量动态规划图，可视化展示市场潜力、已发展区域、推荐发展区域及触达场景案例。
我们把市场的目标也放到了建模师身上，希望建模师能够与市场共进退。现在回过头来想，还是too young，too simple。很多KR完全超出了建模师的能力圈，这些KR的设置毫无意义，变成了管理者的自嗨。
2、不求甚解
我们意识到了这个问题，然后进行了KR的精简。
第二季的OKR设置如下：
KR:月平均点击率X%（起始Y%， 点击率=所有营销类需求的点击用户/所有营销类需求的发送用户（剔除宣传类需求））
但对于一个投放产品来讲，其上承载的业务千差万别，比如我们的投放横跨了招聘、零售、教育、房地产等等各个行业，而每个行业的目标用户都不太一样，给建模师设置一个包罗万象的月平均点击率KR就显得有点托大。
虽然说创新要摸着石头过河，但河太宽了容易淹死。
3、KPI陷阱
这次我们分析了所有行业的业务量情况，选择教育行业为切入点进行模型提升。
第三季的OKR设置如下：
KR:教育行业月平均点击率X%（起始Y%）
如果你是团队的TL，你觉得这个OKR设置的怎么样？
业务的最终目的是转化，但我们发现在短信这种场景，点击率不是一个很好的评估效果指标，点击率和转化率也不是一回事，而很多讨巧的方法能让点击率提升，比如找到短信点击偏好的用户，但这些用户转化其实不高。
这凸显了OKR和KPI的区别。
4、数值诱惑
我们对于投放业务进行了分析，发现短信中一般都留有商家的电话号码，因此如果在投放后用户跟商家通话率很高，则更能反映模型的实际效果。注意这不是线上渠道，暂时还无法形成投放和效果的闭环。
第四季的OKR设置如下：
KR:教育行业月平均点击率不低于X%，平均通话率X%（三季度点击率X%，通话率Y%）
但我们发现虽然通话率是很好的指标，但通话率的提升到底要设置多少才合适呢？在业务类型多样、变动非常频繁的情况下，参考上季度的通话率就缺乏说服力，一个季度后，建模师说通话率从0.20%上升到了0.25%，你说到底是业务的波动还是模型的贡献？
我们还需要继续改进。
5、囿于训练
吸取了前面的教训，我们终于祭出了评估的大法，AB测试，这在互联网企业屡试不爽。
第五季的OKR设置如下：
KR:针对教育行业通话率指标，AB测试的效果提升在2倍以上
其实这个目标对建模师已经有了很好的指导意义，但还是不够的，因为我们的目标是业务转化，而不是让建模师拿着历史数据进行AB测试的自嗨。
6、更进一步
模型从训练完成到发布到生产环境再到可用其实有不少的路要走，我们更强调的是让模型在生产中发挥出规模化价值，而不是昙花一现。
第六季的OKR设置如下：
KR:在教育行业的投放中通话率AB测试的效果提升在2倍以上，并且覆盖80%的投放工单
这是团队通过6次迭代后达到的OKR目标设置水平。
我们发现，别人家的方法要为你所用，总是要经历不停探索和修正的过程。很多时候，我们是坚持不下来的，要么流于形式，要么说这个方法华而不实。
但笔者还是有个坚定的信念：OKR的本质是就要你体现出差异化的增量贡献，否则跟南谷先生就没什么区别。
希望于你有所启示。

本文为专栏文章，来自：傅一平，内容观点不代表本站立场，如若转载请联系专栏作者，本文链接：https://www.afenxi.com/91047.html 。

更多内容请访问：IT源点

注意：本文归作者所有，未经作者允许，不得转载

#A/B测试 #数据建模 #数据挖掘
阅读全部
相关文章推荐

全部评论: 0 条

    我有话说: