目录
激活函数示意图 f
六种激活函数
1 Sigmoid
2 tanh(x)
3 Relu
4 Leaky ReLU
5 ELU
6 Maxout
实践经验
- 可以多使用 ReLU. 注意你的学习率，对结果的影响很大
- 可以使用 Leaky ReLU / Maxout / ELU
- 可以尝试使用 tanh 但是不要期望太高
- 不要使用 sigmoid， 实践证明不好用
目录
道可道，非常道；名可名，非常名。 无名，天地之始，有名，万物之母。 故常无欲，以观其妙，常有欲，以观其徼。 此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。