Bootstrap

R语言-评分卡模型验证(ROC,KS,AIC,BIC)

本文主要记录几种常用的模型检验方法,重点在R语言的使用上,暂时不包括检验方法的原理。博主刚开始使用R语言不久,因此也借此机会整理记录自己的学习过程。如有不当,欢迎指正。


1. ROC与AUC,基尼系数


混淆矩阵Confusion Matirx

计算ROC之前先介绍如何计算混淆矩阵Confusion Matrix

1.可以用table(pre, test$label)

2.caret包里的confusionMatrix(data, reference)

ROC 和AUC

用pROC包的roc函数

# validate
library(pROC)  # roc
modelroc <- roc(test$label,pre)
modelauc<- auc(modelroc) # calculate area under the curve
plot(modelroc, print.auc=TRUE, auc.polygon=TRUE, grid=c(0.1, 0.2),
     grid.col=c("green", "red"), max.auc.polygon=TRUE,
     auc.polygon.col="skyblue", print.thres=TRUE) # draw roc
Gini <- 2*modelauc-1
     

基尼系数Gini Index

基尼系数最开始为经济学指标,判断一个群体收入分配的均匀程度,基尼系数越大,说明收入分配越不均匀。国际上通常把0.4作为警戒线,

;