实验是我们的基本工具。我们需要多个流量组提出多个策略想法，然后通过比较不同组的指标表现来选择最合适的方案。做ab实验需要两个条件为前提：同质性和无偏性。

很多时候，我们会认为自己做的事情很普通，有不少知识掌握了就自认为我会了，缺少深度思考，回过头来看，不妨多反问下自己，你是真的会了么？对这个事情的本质、本源都抓到精髓了么？

通过和一些朋友交流，发现目前一些数据分析师，其实不是很清楚机器学习可以如何应用于业务，也不清楚自己到底要不要去学习算法知识。实际业务中一些复杂算法场景例如商品推荐、内容推荐、匹配策略等，其实都需要数据分析师做大量的探索验证工作。分析师前期可以为建模指导方向，中后期也为模型的优化提供一些新的思路与数据洞察，此外用算法还可以大大提升分析效率与分析科学性。今天，就让我们详细的来了解一下数据分析师与算法的前世今生。

test，具体做法是在全量中抽样出两份小流量，分别走新推荐策略分支和旧推荐策略分支，通过对比这两份流量下的指标（这里按用户点击衡量）的差异，可以评估出新策略的优劣，进而决定新策略是否全适合全流量。

P值：是一个概率值，如果原假设为真，p值是抽样分布中大于或小于样本统计量的概率。左检验时，p值为曲线上方小于等于检验统计量部分的面积。右检验时，p值为曲线上方大于等于检验统计量部分的面积。

随着业务的发展，不同时期产品的衡量指标会变化，我们关注的重点指标可能改变，会有一些新指标的增加及旧指标的淘汰，我们需要将指标体系持续的更新优化以满足业务的需要。

针对初步定位的影响范围，进行进一步的排查。分三个维度来做假设，建议针对数据异常问题专门建一个群，拉上相应的产品、技术、运营人员一起，了解数据异常时间点附近做了什么产品、运营、技术侧调整。