一、激活函数的性质

1、连续并可导（允许少数点上不可导）的非线性函数：可导的激活函数可以直接利用数值优化的方法来学习网络参数。

2、激活函数及其导函数要尽可能简单：有利于提高网络计算效率。

3、激活函数的导函数的值域要在一个合适的区间内，否则会影响训练的效率和稳定性。

二、常用的激活函数

三、具体介绍

1、S型函数

性质：饱和函数，Tanh函数是零中心化的，logistic函数的输出恒大于0。
非零中心化的输出会使得最后一层的神经元的输入发生偏移，使梯度下降的收敛速度变慢。

2、斜坡函数

优点：计算上更加高效；生物学合理性：单侧抑制、宽边界兴奋；在一定程度上缓解了梯度消失问题

缺点：死亡ReLU问题

3、复合函数

上述内容为本人观看邱锡彭教授《神经网络与深度习》所做的笔记，想要深入了解，请观看相关课程。