Bootstrap

过拟合产生原因和解决

通常过拟合由以下三种原因产生:

  1. 假设过于复杂:注意奥卡姆剃刀原则
  2. 数据存在很多噪音:
  3. 数据规模太小:

过拟合的解决方法通常有:

  1. early stopping:采用交叉验证,设置一个k值,当连续k轮验证集上的指标都不上升时,停止训练

  2. 数据集扩增:

    • 从数据源头采集更多数据;
    • 数据增强:复制原有的数据并加上随机噪声。图像可以旋转,改变尺寸等;
    • 重复采样;
    • 根据当前估计数据分布参数,使用该分布产生更多数据
  3. 正则化: 如L1正则化,L2正则化等

  4. Dropout: 每轮一定比例删除输入特征

  5. 增加BN层
    参考:
    https://blog.csdn.net/weixin_37933986/article/details/69681671

悦读

道可道,非常道;名可名,非常名。 无名,天地之始,有名,万物之母。 故常无欲,以观其妙,常有欲,以观其徼。 此两者,同出而异名,同谓之玄,玄之又玄,众妙之门。

;