风控模型的衡量指标

一、ROC

ROC是根据混淆矩阵衍生评估标准，FPR与TPR分别取值后围成的一条曲线，实际上是由无数个点构画而成。 横轴FPR:1-TNR，FPR越大，预测为坏人中的实际为好人越多；纵轴TPR：TPR越大，预测为坏人中实际坏人越多，即横坐标代表预测错误越多，纵坐标代表预测正确越多。ROC曲线围成的面积即为AUC，AUC通常是在[0.5，1）之间，如果AUC等于0.5，那么模型完全是随机的，一般来说AUC>0.7以上模型效果就算比较好的，但并不是AUC越大越好，AUC>=0.9说明模型可能过拟合，需要调整。

二、KS

从某个角度上来讲ROC曲线和KS曲线是一回事，只是横纵坐标的取法不同而已。Roc的横坐标是假正率（FPR），纵坐标是真正率(TPR);而ks曲线的横坐标是等分，纵坐标是分别是FPR和TPR的累计值,KS值呢就是max(tpr-fpr)。

三、LIFT

LIFT曲线也叫累计提升图，它衡量的是与不利用模型相比，模型的预测能力提升了多少。即使用模型的预测正类数量与不使用模型随机获取的正类数量的比例。其值越大，模型效果越好。

其可视化结果如下图：

四、PSI

稳定度指标(population stability index ,PSI)和IV的计算方式一样，都是KL散度的一种。可衡量两个样本的的分布差异，为最常见的模型稳定度评估指针。PSI将两个样本值划分一样的区间，针对不同样本，观察分布是否有变化。ps：PSI值大小与分组区间数，分组方式有关系，不同的分组数，分组方式会影响该值大小

判断标准：PSI<= 0.1，无差异；0.1< PSI<= 0.25，需进一步判断； PSI>0.25，有显著位移，模型需调整。

代码如下：

可视化如下：

来源|风控建模

作者|小溪1005

更多精彩，戳这里：