反向传播算法（BP神经网络）

前（正）向传播网络
后（反）向传播网络：反向传播是指通过比较输出层的实际输出和预期的结果，得到误差，然后通过相关的误差方程式调整最后一个隐含层到输出层之间的网络权重，之后从最后一个隐含层向倒数第二隐含层进行误差反馈，调整它们之间的网络权重，以此类推，直到输人层与第一隐含层之间的网络权重调整为止。
前馈型网络：各神经元从输入层开始单向传播，只接收前一级输入，并输出到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示。

反馈型网络：输出层中存在着一个反馈回路到输入层作为输入层的一个输入，也可以自己到自己，可以理解为自控系统方框图中的反馈回路，可用有向循环图或者无向图表示。

二. 神经网络通用表示

1. 一个神经元模型

上图x1,x2,⋯,xi,⋯,xn表示神经元的n个输入，w1,w2,⋯,wi,⋯,wn表示对应输入的权重参数（链接权重），神经元对输入x权重w进行加权求和得到加权输入z，也就是神经元的状态。随后将z传递给激活函数f(⋅)，得到激活值，对于单个神经元，也就是其输出值y。其中激活函数f(⋅)可以为多种激活函数，且激活函数均为非线性函数。

2. 全连接神经网络

在第层神经元，用 $n_{l}$ 表示这层神经元的个数， $i\in \{1,2,...,n_{l}\}$ 。
$x_{1}...x_{n_{l}}$ 为输入，即 $\tiny (x_{1}^{(1)},x_{2}^{(1)},...,x_{i}^{(1)},...,x_{n_{l}}^{(1)})^{T}$ ， $x_{i}$ 表示第 i 个输入。
$y_{1}...y_{n_{l}}$ 为期望输出，即 $\tiny (y_{1}^{(l)},y_{2}^{(l)},...,y_{i}^{(l)},...,y_{n_{l}}^{(l)})^{T}$ ， $y_{i}$ 表示第 i 个期望输出。
$\tiny z^{(l)}=\left( z_{1}^{(l)}, z_{2}^{(l)}, \cdots,z{_{i}}^{(l)},\cdots, z_{n_{l}}^{(l)}\right) ^{T}$ 表示第层的加权输出或神经元状态， $z{_{i}}^{(l)}$ 表示第层的第个神经元的加权输出。
$a^{(l)}=\left( a_{1}^{(l)}, a_{2}^{(l)}, \cdots,a{_{i}}^{(l)},\cdots, a_{n_{l}}^{(l)}\right) ^{T}$ 表示第层的激活输出（实际输出）， $a{_{i}}^{(l)}$ 表示第层的第个神经元的激活输出（实际输出）。
$w{_{ij}}^{(l)}$ 是权重矩阵 $W^{(l)}$ 中的元素，表示前一层层第个神经元的第个加权
$b{^{(l)}=\left( b_{1}^{(l)}, b_{2}^{(l)}, \cdots,b{_{i}}^{(l)},\cdots, b_{n_{l}}^{(l)}\right) ^{T}$ 表示从上一层到当前层层的偏置。 $b{_{i}}^{(l)}$ 表示当前层第层第个神经元的偏置。