Bootstrap

深度学习------卷积神经网络(CNN)、循环神经网络(RNN、LSTM)和递归神经网络知识点汇总

1. 卷积神经网络(CNN)

卷积神经网络(CNN):是一类包含卷积计算且具有深度结构的前馈神经网络;由于卷积神经网络具有平移不变分类,因此也被称为平移不变人工神经网络。
卷积神经网络是一种特殊的卷积神经网络模型,体现在两个方面:(1)神经元间的连接是非全连接的;(2)同一层中某些神经元之间的连接权重是共享的,即它的非全连接和权值共享的网络结构使之类似于生物神经网络,降低了模型的复杂度,减少了权值的数量。
输入层:主要对原始图像数据进行预处理,包括去均值,归一化,pca.
卷积层:提取特征
池化层:(1)特征图压缩,使特征图变小;(2)特征图压缩,提取主要特征。
全连接层:做分类器作用。
激活函数:常见的激活函数有sigmoid、tanh、relu、softmax。其中sigmoid和tanh常用于全连接层,而relu常用于卷积层。

总结:卷积神经网络主要由两部分组成,一部分是特征提取(卷积、激活函数、池化),另一部分是分类识别(全连接层)。

2. 经典卷积网络模型

CNN的经典结构有LeNet、AlexNet、ZFNet、VGGNet、Go

;