神经网络

对于非线性的分类问题，在特征量较少的情况，可以用多项式类型的Logistic回归或其它算法来处理。但是一旦特征量较多，多项式的Logistic回归就会很困难。

神经网络是一种模拟大脑的算法。神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
神经网络中最基本的成分是神经元模型(Neural Model)(又称Logistic unit)，即上述定义中的“简单单元”。对于人类而言，视觉听觉是由大脑的神经中枢产生。而神经中枢是由大量的神经元相互连接而成。一个神经元通过树突接受其他神经元传来的化学物质（信息），从而改变该神经元的电位，当电位到达某一阈值（threshold）时，该神经元被激活，即“兴奋”起来，从而通过轴突向其他神经元发送化学物质。

神经元模型（1943年发明）是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。
一个典型的神经元模型：包含有3个输入，1个输出，以及2个计算功能。注意中间的箭头线，这些线称为“连接”。每个连接上有一个“权值”。
连接是神经元中最重要的东西。每一个连接上都有一个权重。一个神经网络的训练算法就是让权重的值