收录于话题
#数据分析的套路
8个内容
这是傅一平的第316篇原创
作者：傅一平
个人微信：fuyipingmnb
“与数据同行”开通了微信群，现已汇聚了3500位小伙伴了，加我为微信好友（微信号：fuyipingmnb）申请即可，会拉你入群，让我们共建一个知识社区。顶级的数据分析师一定会在数据变现最牛逼的行业里存在，比如金融风控或者数字广告行业，这些业务是真正的数据驱动，因为数据上差一点点，效益就会差一大截。这里以运营商推出的“基于信用分的欠费免停机服务”为例来说明顶级数据分析师（为了描述方便，称其为A君）应该发挥出的价值，然后笔者总结了9个核心能力。A君分析的问题是公司的大问题，相信大家都有过欠费停机的经历，运营商每月停机量应是巨大的，但大多欠费停机的用户都是会复机的，因此对用户不加区隔的进行停机显得有点简单粗暴，而且停机期间还会损失收入，无论从服务的角度还是收入的角度讲，这都是一个值得研究的分析课题。跟芝麻信用分类似，也许运营商可以基于打造自己的信用分来实现用户欠费的区别对待，比如对高信用分的用户实施免停机，而A君就需要进行信用分的数据分析，向公司证明这个方案可行。A君做的数据分析报告就是要用数据来向公司说明推出这个业务的价值，以下是过程的一个简述。首先，肯定是先看下欠费停机的情况，比如每月有多少比例的的用户有过欠费停机的经历，这些欠费造成了怎样的收入损失。
其次，要看下当前欠费免停机的信用控制手段有什么缺陷，比如分析会发现原来基于ARPU，在网时长为核心的星级体系覆盖的高价值用户其实有限，而充分考虑了用户各方面特征的信用分模型也许更为科学，比如有很多用户落在了低星级但高信用的区域一。
信用分评估体系
信用分布情况
区域一有大量星级低但信用高的用户
最后，要看下欠费用户基于信用分的欠费率分布情况，比如发现区域一整体欠费率小于0.1%，欠费用户占比低于1%，这说明基于信用分可以将风险控制在一定的范围。很多企业的数据分析师到这个时候基本就完成任务了，似乎数据分析师与执行无关。但A君做的显然不止于此。由于信用分的实施横跨市场、服务、财务、IT等多个部门，A君需要推动公司成立多部门联合的试点小组，制定试点方案，包括免停机用户的范围、信用额度、信控规则、确认模板、投诉处理、系统改造等等，比如下图显示了采用信用分后业务流程的改造图，信用分似乎很简单，但对存量信控体系的冲击是非常大的。
一切就绪后，A君还要跟踪具体执行的效果，及时提出改进的建议，比如跟踪每天停机和欠费率的变化情况，如下图所示。
如果出现数据异动，就可能要采取紧急措施。比如在业务试点的头几个月存在客户的欠费率持续上升、信用分按月计算导致升降级规模过大过频等现象，分析发现是信控规则未严格执行、未考虑部分用户的特殊情况、信用分模型有缺陷等原因，需要采取措施对模型、信控规则等进行迭代优化，下图是运营中出的一份专题报告示例。
这些都是顶级的数据分析师要做的事，数据分析不仅仅是出个报告，而是要能产生实际的价值，用数据分析真正的驱动生产。在互联网公司，优化产品的数据分析师做到了这一点，比如通过与产品的协同进行AB测试，给出产品优化的具体建议，从分析到生产的流程特别短，这是非常值得学习的。在传统企业，由于组织、机制及流程的原因，要做到数据分析驱动业务挑战比互联网公司大很多。从上面的案例可知，要达到顶级数据分析师的程度，光是会取数、会分析、会出报告是远远不够的，顶级数据分析师要能基于数据分析驱动业务，创造实际生产力。为了达到这个目标，顶级数据分析师需要具备哪些素质呢？笔者总结了9个能力，分别是业务能力、思考能力、沟通能力、表达能力、分析方法、数据能力、技术能力、统计知识、落地能力。业务知识的学习和掌握，需要的积累之深，培养一个业务专家，需要的周期之长，都远远超过后面所说的那些基本技能。一名数据分析师其最本质的价值就是去用数据驱动业务增长。而每一项业务本质上是公司整体战略的支撑，理解了战略，才能选对分析思路的方向，比如运营商的四轮驱动战略，可以通过公司年度计划和总结、三年滚规、领导的指示、各种重要会议等等了解，比如信用分在大型企业降本增效的背景下有其特殊的价值。对自己的行业有足够敏感度，多与业务部门核心团队进行沟通，多关注行业网站，多阅读行业数据分析报告做好积累，比如处于什么阶段，自己所在的位置，当前的重点业务方向在哪里，碰到了哪些挑战，总体的解决思路是什么，比如运营商的数据分析师起码要知道当前的企业信控体系是什么，有哪些行业的风控体系值得借鉴等等。如果你无法达到业务领导的高度，就更要多和他沟通，了解他对业务的看法，站在他的肩膀之上去理解他所认知的业务，记住，你为谁负责，谁是你最大的资源，比如信用免停机会涉及欠费率的波动，短期可能会影响应收账款，这个时候就要去理解领导的预期，做好相关解释等工作。对于业务的理解不是简单的看文档就可以的，一定来自于对于公司业务的实际流程、机制、平台、数据等的充分的理解，最好在实际相关岗位呆过，比如没做过数据，可能连欠费率口径都搞不清楚，而信用分中欠费率的测算是至关重要的，任何一个部门的专业人士都可以挑战你。如果你只是很好的“实现者”，而不是很好的“思考者”，那做数据分析师没有前途的！基于业务人员想法来制作报表或者看板，最多只是“60分工作”。即便你的需求来源是业务部门老总，也就值60分。其无法凸显你的价值，无法让你升职加薪。数据分析最值钱的就是想法，特别是基于实际业务现状有针对性的想法，比如运营商传统上是基于星级体系来提供差异化服务，而你想到了金融行业的信用分，你把它移植到运营商就有新的价值。要有深度思考的习惯，要成为一名“思考者”，才能对业务有独到的见解和想法，通过你拥有的数据对这些想法进行系统化、体系化的分析，通过数据来论证自己的想法。这是一个很痛苦、很费时的工作，比如A君就是逻辑思考能力极强的人，能够通过数据分析的手段来驱动业务的开展。你的历史经历和站位决定了视野的狭隘性，没有足够的外部输入，你思考能力再强也是巧妇难为无米之炊，也是很难有分析灵感的，不要怕丢面子，通过与同事、领导、圈外人事多交流，才能获得更多的信息，让好的分析思路涌现，比如A君对外要去理解金融风控的手段，对内要去理解内部风控的方法，只有自己变得更为开放才能吸收更多的东西。对上要通过反复沟通确认目标、对中要采取协作做到滴水不漏、对下要换位思考获得尊重。你的分析为谁负责，就要跟谁沟通清楚，最忌讳不懂装懂，自以为是，领导的时间有限，要抓住一切机会去沟通清楚分析的目的到底是什么，领导有什么预期，第一遍沟通后，列个提纲再去沟通，淘尽领导所有的现成想法，你很烦，就对了，总比事后领导见你烦。个人的视野是比较窄的，很难逻辑严谨，跟我们合作的一些企业往往采用团队协作方式，你会发现，他们提交的分析报告往往能体现整个公司的分析水平，而不是受限于个人，如果企业的经营分析报告总是来自于某个领导或某个个人，何来进步？你们的能力就是企业的瓶颈。数据分析贯穿数据、技术、业务整个链条，你需要面对不同的岗位，碰到不同的角色，采用不同的语言，表达你的要求和获得你需要的东西，成为数据和业务的桥梁，比如业务如何理解？如何数据取得更快？发现数据问题如何尽快的确认原因？都考验着你的实际人脉和权威。一定要重视汇报，不要觉得“酒香不怕巷子香”，在你没汇报前，领导不太知道你的实际业绩，IT专业的人有时比较吃亏往往是认知问题，就是不重视对上，也不愿意去搞这种虚头巴脑的东西，很多人做了80分，汇报只有30分，其实也跟教育有关，通识不够，没有美感。汇报前要做好充分的准备，理解每一个字和每一个数字，把你要表述的内容整理成为具有调理的“故事”，用自己的语言表述出来，让人家能理解你讲的东西，有时要反复练习，不用看PPT，就可以把整个PPT的逻辑清晰的表述出来。每个企业都有一套KPI指标体系，围绕KPI指标还有一系列的执行监控指标，作为数据分析师一定要对企业的核心指标体系有深入的理解，这是做数据分析的人要搞懂的最基本概念。业务反映在指标上，业务分析就是对于合适指标的分析，指标只有经过比较才能鉴别到问题，而要实现鉴别分析，维度的选择是最核心的！数据分析的结论最终的表现形式仍然是指标数据，而这个指标数据往往是层层下钻比对的结果，只是次要因素已经被剔除，主要因素大概率呈现，但主要和次要因素的判断，还是来自于数据分析师的主观判断。BI很大程度上就是用一些可视化技术来进行指标比较的艺术，有助于你更快、更直观的发现问题和定位问题，毕竟人脑对图表、图像的敏感度更高。指标是数据分析的基础，要能从本质上区分指标的差异，就得对指标的生成过程有透彻的理解，包括从哪个表，哪个字段层层计算汇总而来，人家看到指标就是简单的业务解释，你看到的是围绕指标的生成数据体系，有利于你触类旁通，更深刻的理解指标差异和出现的问题，比如什么叫做4G用户数？你能从字面得出几个含义？在大多数公司里，数据分析师的工作是专业化的，但其实你分析要的数据是全方位的，不会有划定的专业边界。在实践中，数据分析师往往不知道到底有多少数据，其数据分析的深度和广度由于其视野的狭窄而受限，数据分析师应对数据字典进行系统的学习，自底向上的实践很重要，但自顶向下的学习也很必要。数据字典体现的往往只是表层的数据含义，如果你希望分析的更为灵活，就需要理解数据之间的依赖关系和来龙去脉，因为每张数据表都是由下一层次的表关联汇总而成，但汇总意味着信息的丢失，只有具备追根溯源的能力，你才更有可能基于更多的信息获得更大的分析自由度，比如你看到业务系统上某个菜单的功能，对应到系统中的数据是怎样的？SQL是最灵活的操作数据的语言，任何一个数据库都会提供SQL的支持，它架起了业务和数据的桥梁，简单易学，性价比很高，也是数据分析师的必须要学习的语言。新的时期数据分析师不要过于依赖别人给你提供的数据，沟通的成本太高，一定要学会自己用SQL来获得所需的定制化数据，它给了你更多的可能。EXCEL提供了最为灵活的轻量级数据的加工和呈现的能力，对于EXCEL的掌握是任何数据分析师的基本功，透视图，图表，公式，计算都是极其方便的工具。数据分析师需要通过分析获得数据背后隐藏的知识，一般用SQL，EXCEL结合自己的经验来进行判断，但这种模式分析的数据维度是有限的，比如靠人很难看出3维以上数据之间的关系，一定要借助工具，这就是机器学习可以帮到你的地方，比如聚类，分类，预测等等，随着机器学习，人工智能工具使用门槛的降低，数据分析师要掌握至少一种挖掘的方法。要理解统计的基本概念，包括但不限于概率计算、几何分布、正态分布、统计抽样、置信区间、假设检验、卡方分布、相关与回归，可以看看《深入浅出系列》的相关书籍等等。业务的业绩达成才是你的最终目标，数据分析固然能够基于历史和现在的数据进行分析，给出建议，但要想真正证明数据的价值，还需要业务执行层的鼎力支持。厘清业务处理过程中各个环节的流程和所在节点的利益关系，无利不起早，很多事情无法推进，核心矛盾是利益分配没有理顺。比如A君要推进信控体系的改造，在开发排期和业务紧迫性方面就会有不匹配，需要多方协调，这就是在推进利益分配。懂得管理业务领导，把领导当成你的资源，带着问题找领导解决时，永远带着解决方案，让领导做选择题，不要做问答题。笔者的数据变现支撑团队经常要做数据分析，比如针对收入波动就要找原因，但仅找到原因是不够的，更希望数据分析师能推动前端产品和运营去进行改造或优化，否则数据分析得出的结论就失去了意义。正如你研发一个信用分模型是不够的，你做一个基于信用分的免停机的分析报告也是不够的，你要让这个分析报告最终产生价值。这些会涉及大量的跨团队的工作，但笔者还是坚持要求数据分析师能够冲到前面去，因此数据分析师经常要跟产品打架，跟运营打架，要产品改这个改那个，我觉得挺好，这才是真正的数据驱动业务。你也许会质疑，笔者这里提到的数据分析已超越了了传统数据分析师的范畴，但数据分析师要把事干成就得这么做，这是你的价值出口。数据分析师的目标从来不是只做数据分析，你应该把数据分析当成职业生涯的一个阶段或一个起点。从这个角度看，能够利用数据驱动思维做成事的人才是企业顶级的数据分析师，因此，虽然你身在数据分析圈，但你也许更应该去看看你们公司的市场部经理是怎么开展工作的，研究一下他们的经营分析报告，看看他们是怎么把报告中发现的数据问题转化为具体落地举措的。
“与数据同行”开通了微信群和QQ群，现已汇聚了3500位小伙伴了，长按以下二维码加入。
笔者也开通了知识星球，欢迎到我的知识星球进行探讨。
数据挖掘失败的根源
“做好大数据测试，我是认真的！”
美团点评基于 Flink 的实时数仓平台实践
大数据的过去、现在和未来：万字长文解读《大数据四十二条》
阿里巴巴高级算法专家威视：组建技术团队的一些思考
2019年，我的大数据白皮书
中台的末路
数据挖掘的军规
好好学习，好好思考（2019年第一期）
浙江移动数据中台的建设和应用实践
工作六年，我总结了一份数据产品建设指南
五级数据挖掘工程师，你处在哪一级？
不做中台会死吗？
BI（商业智能）的未来？
数据分析的道与术
OPPO数据中台之基石：基于Flink SQL构建实数据仓库
超越BI，数据产品的前途在哪里？
数据中台已成下一风口，它会颠覆数据工程师的工作吗？
数据产品经理，并不是数据 + 产品经理
数据中台不是技术平台，没有标准架构！
如何有效推进百万标签库的治理？
运营商大数据对外价值变现的十大趋势
如何深入浅出的理解数据仓库建模？
艰难的旅程：我们如何用“十步法”完成了一次企业级数据治理的落地？
超越平台，数据中台的业务化、服务化及开放化！
要看更多，请点击左下角阅读原文即可阅读整理好的所有文章！