深度学习
1.最优化与深度学习
1.1二者密切联系
最优化理论就是研究如何找到函数的最优解——其最大值和最小值的各种算法。
在深度学习中，研究特定的优化问题：寻找神经网络上的一组参数 θ \theta θ，能显著地降低损失函数 J ( θ )
最优化理论就是研究如何找到函数的最优解——其最大值和最小值的各种算法。
在深度学习中，研究特定的优化问题：寻找神经网络上的一组参数 θ \theta θ，能显著地降低损失函数 J ( θ )
道可道，非常道；名可名，非常名。 无名，天地之始，有名，万物之母。 故常无欲，以观其妙，常有欲，以观其徼。 此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。