问题
在笔试问答题或面试中偶尔有涉及到激活函数的问题，这里简单总结一下深度学习中常见的三种激活函数sigmoid、tanh和ReLU，以及它们各自的特点和用途。
激活函数
激活函数的作用是什么？
激活函数的主要作用是在神经网络中引入非线性因素。
常见的三种激活函数
| sigmoid | tanh | ReLU | |
|---|---|---|---|
| 公式 | f ( x ) = 1 1 + e |
在笔试问答题或面试中偶尔有涉及到激活函数的问题，这里简单总结一下深度学习中常见的三种激活函数sigmoid、tanh和ReLU，以及它们各自的特点和用途。
激活函数的主要作用是在神经网络中引入非线性因素。
| sigmoid | tanh | ReLU | |
|---|---|---|---|
| 公式 | f ( x ) = 1 1 + e |
道可道，非常道；名可名，非常名。 无名，天地之始，有名，万物之母。 故常无欲，以观其妙，常有欲，以观其徼。 此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。