1. 简介

人工神经网络(Artificial Neural Networks)简称(NEURAL NETWORKS)，是集体智慧的结晶。人工神经网络的方法曾经经历过起起落落，也经历过几乎无人问津的地步，但是近年来突然受到非常广泛的关注，其原因在于以人工神经网络为理论基础的深度学习算法(DEEP LEARNING)，在几乎所有的机器学习领域取得突破性进展，获得了比深度学习之前的传统算法高很多的性能。尽管深度学习在实践中获得了非常好的性能，但它最本质的理论基础却和人工神经网络没有区别，在上个世纪八十年代就基本已经成熟了。

2. 人工神经网络的来源

人工神经网络的基本思想是仿生学，即对人脑的神经元机制进行模拟。当计算机的计算资源较低的时候，只能模拟人脑中为数不多的神经元的运作，系统性能自然不高。而从2000年以来，随着计算机硬件能力的发展，我们模拟几十万甚至几千万神经元的运作，系统的性能就有了明显的提升。我个人觉得¹，从本质来说，目前流行的深度学习算法只是一个规模巨大的神经网络而已。

人工神经网的本源是人工智能的仿生学派。从人工智能这一学科诞生以来，就有两种学派此消彼长。第一种学派认为，人工智能模拟的是人类大脑对于世界的认识，因此，研究大脑认知机理，总结大脑处理信息的方式，是实现人工智能的先决条件，我们把这一派叫作人工智能的仿生学派。仿生学派认为计算机算法只有深入地模拟大脑的认知机制和处理方式，才能实现人工智能。而另一种学派却认为，在现在以及可预知的未来，我们无法完全了解人脑的认知机制，另一方面，计算机与人脑具有截然不同物理属性和体系结构，因此，片面强调计算机对人脑的模仿既不可能，也不必须。人工智能的研究应该立足于现有计算机的物理属性和体系结构，用数学和逻辑推理的方法，从现有的计算机结构中获得确定的知识，而不是一味的强调对人脑的模仿，就好比飞机的飞行并不像鸟，但比鸟飞得更快，这一学派为人工智能的数理学派。

前面我们学到的支持向量机就是人工智能数理学派的典型代表，接下来要学习的人工神经网络是仿生学派的典型代表。这两种学派在历史上存在冲突与斗争，主导了人工神经网络这一具体领域的起落与涨跌。

3. 人工神经网络的历史发展

3.1 生物模型

我们从人工神经网络的历史出发，最初在1943年，心理学家w.s.McCulloch和数理逻辑学家W.Pitts基于神经元的生理结构，建立了单个神经元的数理模型，我们把他叫作MP模型。

这幅图是单个神经细胞的示意图。外部的刺激通过树突传递到神经元细胞核，经过细胞和加工后，作为输出传递给突触。

MP模型是将外部刺激模拟为一串数字$x_1$， x 2 x_2