本文主要记录几种常用的模型检验方法,重点在R语言的使用上,暂时不包括检验方法的原理。博主刚开始使用R语言不久,因此也借此机会整理记录自己的学习过程。如有不当,欢迎指正。
1. ROC与AUC,基尼系数
混淆矩阵Confusion Matirx
计算ROC之前先介绍如何计算混淆矩阵Confusion Matrix
1.可以用table(pre, test$label)
2.caret包里的confusionMatrix(data, reference)
ROC 和AUC
用pROC包的roc函数
# validate
library(pROC) # roc
modelroc <- roc(test$label,pre)
modelauc<- auc(modelroc) # calculate area under the curve
plot(modelroc, print.auc=TRUE, auc.polygon=TRUE, grid=c(0.1, 0.2),
grid.col=c("green", "red"), max.auc.polygon=TRUE,
auc.polygon.col="skyblue", print.thres=TRUE) # draw roc
Gini <- 2*modelauc-1
基尼系数Gini Index
基尼系数最开始为经济学指标,判断一个群体收入分配的均匀程度,基尼系数越大,说明收入分配越不均匀。国际上通常把0.4作为警戒线,