卷神经网络今天是卷积神经网络的后半部分,以下为内容:
1 .学习表征: 浅层学习:不涉及特征学习,其特征主要靠人工经验或特征转换方法来抽取表示学习:如果有一种算法可以自动地学习出有效的特征,并提高最终机器学习模型的性能,那么这种学习就可以叫作表示学习。 通常需要从底层特征开始,经过多步非线性转换才能得到。通过构建具有一定“深度”的模型,可以让模型来自动学习好的特征表示(从底层特征,到中层特征,再到高层特征),从而最终提升预测或识别的准确性
2 ..视觉分层理论:视觉分层理论:从底层到高层的不断抽象 浅层卷积核提取边缘、颜色等底层特征。 中层卷积核提取条纹、形状等中层纹理特征。 高层卷积核提取眼睛、轮胎等高层语义特征。
3.. AlexNet: AlexNet在2012年ImageNet竞赛中获胜,比LeNet更深更大。 主要改进包括使用ReLU激活函数、丢弃法、计算机视觉的范式改变。 AlexNet由五个卷积层、两个全连接隐藏层和一个全连接输出层组成。AlexNet比相对较小的LeNet5要深得多。 AlexNet使用ReLU而不是sigmoid作为其激活函数。将激活函数从 sigmoid 更改为 ReLu(减缓梯度消失)在两个隐含层之后应用丢弃法(更好的稳定性 / 正则化)数据增强。关于Alexnet总结:AlexNet的架构与LeNet相似,但使用了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。• 今天,AlexNet已经被更有效的架构所超越,但它是从浅层网络到深层网络的关键一步。• 新加入了Dropout、ReLU、最大池化层和数据增强。
4 .VGG网络: 架构:VGG网络通过重复使用卷积块构建深度卷积神经网络。 - VGG-16和VGG-19是常见的架构,使用3x3卷积核和2x2最大池化层。5 . 发展历程:LeNet(1995)2卷积层+池化层 2隐含层AlexNet更大更深的LeNetReLu激活,丢弃法,预处理VGG更大更深的AlexNet(重复的VGG块)