你应该知道的模型评估的五个方法

66号学苑小书童：常用的5个模型评估的方法，你都掌握了吗？

1、混淆矩阵

混淆矩阵不能作为评估模型的唯一标准，混淆矩阵是算模型其他指标的基础，后面会讲到，但是对混淆矩阵的理解是必要的。

模型跑出来的“Y”值为每个客户的预测违约概率，可以理解为客户的有多大的可能违约。把概率等分分段，y坐标为该区间的人数，可以得到这样子一个图表。

可以看到图中这条线，一切下去，在左边就算是违约的客户，那么右边就是正常的客户，本身模型没办法百分百的判断客户的状态，所以cd就算是会误判的，d本来是是左边这个小山的客户，那就是坏客户，但是模型预测他的概率比较高别划分到了好客户的这边了，所以d就是被预测为好客户的坏客户，同样的道理，c就是被预测为坏客户的好客户。

2、提升图&洛伦兹图

假设我们现在有个10000的样本，违约率是7%，我们算出这10000的样本每个客户的违约概率之后降序分为每份都是1000的记录，那么在左图中，第一份概率最高的1000个客户中有255个违约的。违约客户占了全部的36.4。如果不对客户评分，按照总体的算，这个分组；理论上有70个人是违约的。

把刚才的图，每组中的随机违约个数以及模型违约个数化成柱形图，可以看到假设现在是p值越大的客户，违约概率越大，那就是说这里第一组的1000个人就是概率倒序排序之后的前1000个人。那么可以看到通过模型，可以识别到第一组的客户违约概率是最高的，那么在业务上运用上可以特别注意这部分客户，可以给予拒绝的处理。

那么洛伦兹图就是将每一组的一个违约客户的个数累计之后连接成一条线，可以看到在12组的时候，违约人数的数量上升是一个比较明显的状态，但是越到后面的组，违约人数上升的越来越少了。那么在衡量一个模型的标准就是这个条曲线是越靠近y轴1的位置越好，那样子就代表着模型能预测的违约客户集中在靠前的几组，所以识别客户的效果就是更好。

3、基尼系数

 洛伦茨曲线是把违约概率降序分成10等分，那么基尼统计量的上图是把违约概率升序分成10等分，基尼统计量的定义则为：

G的值在0到1之间，在随机选择下，G取0。G达到0.4以上即可接受。

4、ks值

ks曲线是将每一组的概率的好客户以及坏客户的累计占比连接起来的两条线，ks值是当有一个点，好客户减去坏客户的数量是最大的。那么ks的值的意义在于，我在那个违约概率的点切下去，创造的效益是最高的，就图中这张图来说就是我们大概在第三组的概率的中间的这个概率切下，我可以最大的让好客户进来，会让部分坏客户进来，但是也会有少量的坏客户进来，但是这已经是损失最少了，所以可以接受。那么在建模中是，模型的ks要求是达到0.3以上才是可以接受的。

5、roc

灵敏度可以看到的是判断正确的违约客户数，这里给他个名字为违约客户正确率(tpr)，误判率就是判断错误的正常客户数（fpr）。特殊性就是正常客户的正确率，那么roc曲线是用误判率和违约客户数画的一条曲线。这里就需要明确一点就是，我们要的效果是，tpr的越高越好，fpr是越低越好。ROC曲线就是通过在0-1之间改变用于创建混淆矩阵的临界值，绘制分类准确的违约记录比例与分类错误的正常记录比例。具体我们来看图。  

我们首先来看A,B点的含义，A点的TPR大概为0.7左右，FPR大概是0.3左右，那么就是说假设我错误的将30%坏客户判断是坏的，那么可以识别70%的客户肯定坏的。B点的TPR大概为0.3左右，FPR大概是0.7左右，那就是我错误的将70%好客户当做坏客户，只能得到30%的客户是确定 坏客户。所以这么说的话，点越靠近左上方，模型就是越好的，对于曲线也是一样的。

来源：屁屁的sas数据分析

更多精彩，戳这里：

--------------------   我是彩蛋   -------------------- 

Capital One被誉为Fintech领域的教父级公司,“数据驱动理念”渗透在Capital One风控，营销，用户管理，战略等各个阶段。凭借“数据驱动理念”，Capital One名列世界500强，资产规模超过3000亿美金，成为全美第二的消费金融帝国。

10月26日（下周四 20:00），66号学苑也将携手天创信用CRO张宇开设《基于数据驱动的风险定价》系列课，希望将Capital One的“数据驱动理念”，在国内落地生根，帮助更多的风控从业者迅速提升风控能力。

点击“阅读原文”，即可优先获取听课资格哦～