自从1943年，人工神经元的提出，就已经对激活函数有了概念。

而随着1957年，在单层感知机的提出中，激活函数还是简单的线性函数，较为单一，且只能解决简单的线性问题，不能分类中的异或问题，由此可见，线性函数存在很大的局限性。

而目前常用的激活函数都有以下基本性质：

非线性：能解决了线性函数的局限性，能更好的逼近实际的真值，获取更好的模型。

可微性：目前在训练网络模型中，基于梯度的模型最优化方法都要求激活函数是可导的。

单调性：单调函数能够保证模型的简单，且能在一定程度上，更快速地使模型收敛。

1、阶跃函数（step）：

阶跃函数是较为理想的激活函数，将输入数据映射为0或1,当输出为1表示当前神经元处于激活状态，相反当值为0，表示当前神经元处于抑制状态；

但是，阶跃函数不具备连续、光滑、可导的特点，因此在实际使用中通常不用阶跃函数作为激活函数

2.sigmoid函数和tanh函数：

sigmoid函数和tanh函数曾是最常用的激活函数，函数表示及图像如下：