论文笔记 之 卷积自编码网络

　　突然发现好记性不如烂笔头真的很有道理，到了写毕业论文的时候，发现之前看过的论文都貌似没看过。今天写一下关于《Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction》的笔记，后期慢慢将以前比较好的论文补上来，希望对我对大家都有收获。
　　论文可以自己搜，懒得搜的可以去CSDN免费下载。

网络结构

　　进入正题，这篇论文写的是在卷积神经网络的卷积层加入Denoise Autoencoder代替，池化层则采用Max pooling。这样2层就构成一个CAE结构，将多个CAE串起来，就构成了含有深度结构的CAEs。CAEs先使用无监督逐层训练方法预训练，然后采用BP算法进行微调，也就是使用不带规则化的梯度下降算法， 根据作者所做的实验来看，结果比较好。不知道描述的清楚与否，作者也没有给出网络结构图。

学习算法

　　卷积层-卷积：初始化k个卷积核(W)，每个卷积核搭配一个偏置b，与输入x卷积($*$)后生成k个特征图h，激活函数$\sigma$是$tanh$。公式如下：
　　$h^k = \sigma(x * W^k + b^k)\tag{1}$
　　卷积层-自编码：每张特征图h与其对应的卷积核的转置( W