通常过拟合由以下三种原因产生:
- 假设过于复杂:注意奥卡姆剃刀原则
- 数据存在很多噪音:
- 数据规模太小:
过拟合的解决方法通常有:
-
early stopping:采用交叉验证,设置一个k值,当连续k轮验证集上的指标都不上升时,停止训练
-
数据集扩增:
- 从数据源头采集更多数据;
- 数据增强:复制原有的数据并加上随机噪声。图像可以旋转,改变尺寸等;
- 重复采样;
- 根据当前估计数据分布参数,使用该分布产生更多数据
-
正则化: 如L1正则化,L2正则化等
-
Dropout: 每轮一定比例删除输入特征
-
增加BN层
参考:
https://blog.csdn.net/weixin_37933986/article/details/69681671