Bootstrap

智能系统

1. 传统控制和智能控制的比较

传统控制的研究特点

  1. 采用时域的状态空间法
  2. 以计算机设计为基础进行数值求解
  3. 系统的设计和综合基于数学模型,模型精度直接影响系统性能

传统控制的不足

  1. 建立在精确的数学模型上,对于高度非线性和复杂的系统,数学模型将丢失大量信息
  2. 传统控制系统输入信息单一,很难满足现代复杂系统需求
  3. 传统系统的自学习,自适应,自组织能力差和容错性较弱

智能控制的特点
自组织,自适应,不依赖被控对象的数学模型。研究重点是控制器本身,而不是被控对象。每一种控制策略都是独立自成体系。
适用对象:模型不确定性,高度非线性,复杂的任务要求。

2.前向神经网络

人工神经网络是由大量简单处理单元组成的非线性,自适应,自组织系统。它是在现代神经研究的基础上,试图通过模拟人脑神经系统对信息进行加工,记忆和处理的方式,设计出的类人脑信息处理系统。

激活函数作用

  1. 控制输入对输出的激活作用
  2. 输入与输出之间的函数转换
  3. 将可能无限域内的输入转换为指定有限域输出

泛化
当网络训练成功时,把一个不在训练样本中的输入矢量输入到网络中,网络趋于产生一个与其相联想的输出

感知器网络

  1. 结构
    具有一层s个神经元,采用阈值激活函数的前向神经网络
  2. 算法
    学习规则属于梯度下降法,是用来计算新的网络权值和偏差的算法
    有监督学习
  3. 功能
    经过训练可以对一定的输入矢量进行分类和识别的功能
    输出神经元个数决定分类数
  4. 局限性
    输出矢量为0和1,只能进行简单的分类
    只能够对线性可分的输入矢量进行分类
    当输入矢量存在远大于或远小于其他数的数时,网络收敛性将很慢
    异或问题的解决方式是将单层网络结构变成多层网络结构

自适应线性网络

  1. 结构
    具有一层s个神经元,采用线性激活函数的前向神经网络
    输入无穷大,输出无穷大(任意值)

  2. 算法
    W-H学习法则仅适用于训练单层网络
    有监督学习

  3. 功能
    线性逼近函数来进行模式联想
    滤波、分类、预测、除噪
    当输入与输出的关系是非线性时,线性网络无法精确描述模型,但是可以产生一个误差平方和最小的线性逼近

  4. 局限性

  5. 与感知器对比
    采用线性激活函数输出可以为任意值,而不仅仅取0,1。这就造成自适应线性网络不仅可以进行线性分类还可以进行线性逼近
    提出代价函数的概念采用最小均方差规则,可以达到比感知器更快的收敛速度和控制精度

反向传播网络

  1. 结构
    r个输入和一个隐含层的前向神经网络
  2. 算法
    BP算法由两部分组成,信息的正向传播和误差的反向传播
    有监督学习
  3. 功能
    函数逼近,模式识别,分类,数据压缩
  4. 局限性
    训练时间过长,主要是由于学习速率过小造成的,改进方式可以采用自适应学习速率。
    训练不完全,主要由于权值过大时候导致s型激活函数饱和达到倒数过小的区间,致使权值调整几乎停顿,改 进方式是采用初始小权值和小的学习速率。
    局部极小值,由于梯度下降法导致的。
  5. 与感知器和自适应线性网络比较
    为啥不采用含有非线性激活函数的单层网络解决问题?
    没必要且效果不好。一般单层非线性网络可以解决的问题,自适应性线性网络都可以解决,而且自适应性线性网络运算速度更快。对于只能用非线性函数解决的问题,单层精度不够,而且单层发挥不出非线性函数的特长。一般来说,单层网络可以解决的问题,优先考虑感知器和自适应性线性网络。
  6. 优点
    只要有足够多的隐含层,可以逼近任意非线性映射
    学习算法属于全局逼近算法,具有较强的泛化能力
    个别神经元的错误对输入输出影响很小,网络具有较强容错性

径向基网络

  1. 结构
    一个隐含层和一个线性输出层的局部连接前向网络,隐含层的采用径向基函数作为激活函数
  2. 算法
    训练分两步,一是无监督的隐含层权值训练,二是有监督的线性输出层权值训练。
    权值训练采用的不是BP算法也不是梯度下降法
  3. 功能
    可以进行非线性函数逼近,而且训练时间比BP网络少很多
    0误差的网络(隐含层节点数等于训练样本组数)
  4. 局限性
    隐含层节点数等于训练样本组数,难以接受
    改进思想:满足误差要求的情况下,尽量减少神经元个数
    方式:从一个节点开始训练,通过检查误差目标使网络自动增加节点。每次循环使用网络产生最大误差的输入矢量产生一个新的RBF层节点,然后检查新网络误差,重复此过程直至达到目标误差或者最大神经元节点数。
    还有一种方式就是将C取大一点点,使得一个神经元可以对好几个输入矢量有较好的响应。
    还有一个问题就是如果神经元节点数超过训练样本组数会产生过拟合。
  5. 与BP网络比较
    它不是BP网络,因为
    (1)它不采用BP算法进行网络权值训练
    (2)训练算法也不是梯度下降法
    (3)网络权值通过非监督和监督算法获取

hopfeild网络是 节点两两连接的网络。
BP网络和径向基神经网络结构都具有隐层;
BP网络和径向基神经网络结构(RBF)的区别
BP网络用于函数逼近时,权值的调节采用的是负梯度下降法,这种调节权值 的方法有它的局限性,既存在着收敛速度慢和局部极小等缺点。而径向基神经网络在逼近能力、分类能力和学习速度等方面均优于BP网络。
从理论上讲,RBF网络和BP网络一样可近似任何的连续非线形函数,两者的主要差别在于各使用不同的作用函数,BP网络中的隐层节点使用的是Sigmoid函数,其函数值在输入空间中无限大的范围内为非零值,而RBF网络的作用函数则是局部的。

4.递归神经网络

能够反映系统动态特性,拥有存储信息能力的网络。
与前向网络的网络性能最大区别:网络存在递归信号,网络状态是时变的,运动轨迹存在稳定性问题

1.霍普菲尔得网络
通过网络神经元状态的变迁最终收敛到稳定的状态,从而达到联想存储和优化计算的目标

  1. 结构
    它属于全局反馈递归神经网络,单层对称,
    有连续型和离散型之分。离散的霍普菲尔德网络采用二值型激活函数,连续的采用连续可微的单调上升函数
  2. 算法
    海布学习规则,一种无监督的(无指导)的死记忆学习算法
    设计一个网络,存在一组平衡点,使给定网络任意初始值时,网络通过自行运算能够收敛到所存储的某一平衡点
    经过正交化处理的权值设计,能够保证记忆的稳定平衡点收敛到自己,权值矩阵对角线元素不为零且为对称矩阵,
  3. 功能
    主要功能记忆存储(联想)和优化计算
    联想记忆网络需要两个基本条件:
    (1)网络能够收敛到稳定的平衡状态,并且作为样本的记忆信息
    (2)具有回忆能力,能够从残缺的信息回忆所属的完整记忆信息
    影响记忆容量的因素:权值移动和记忆干扰
  4. 局限性
    记忆容量的有限性
    伪稳定点的联想和记忆
    当记忆样本比较接近时,网络不能始终回忆出正确的记忆
    没有通用的方式提前知道稳定点,所以霍普菲尔德网络设计并不简单

2.自组织竞争网络

  1. 结构
    单层递归神经网络,输入层和输出层,输出层也叫竞争层,采二值激活函数(0,1)
    输入层和竞争层加权输入共用一个激活函数
  2. 算法
    通过竞争调整获胜节点的权值。权值调整是为了使权值和输入矢量的差别越来越小,从而使训练后的权值能够代表输入矢量特征,把相似的输入矢量分为同一类,并由输出来指示代表类别。
    二值型分类的实质是通过将输入矢量空间进行分割而达到分类的目的
    改变节点竞争结果的主要决定性因素还是输入层的加权和,竞争只是起到加强和削弱的作用
    无监督学习,通过自身自组织能力对输入矢量进行分类
  3. 功能
    主要用来分类
  4. 局限性
    适用于有明显聚类特性的的大量数据分类,当数据为概率分布时,该网络表现不大行。需要科荷伦自组织映射网络解决
    可能存在不稳定的学习过程,主要由于网络的自适应性导致,之前学习过的被后来学习过的破坏
  5. 与感知器网络比较
    与感知器相同的是均采用二值分类;不同的是竞争网络所用的矢量模为1,矢量的变化在坐标上的轨迹是以原点为中心的单位圆。

8.模糊控制

模糊控制主要适用于以下三个情况
系统过于复杂无法精确定位模型
具有明显的非线性操作的系统
输入或者定义的结构具有不确定性的系统

  1. 模糊控制器设计主要步骤
    (1) 确定输入变量,输出变量和论域
    (2)确定模糊化(精确量离散化,单值模糊化)和解模糊的方法
    (3) 确定模糊控制规则(基于专家经验和控制工程知识,基于操作者的实际控制工程,解析控制规则公式和基于学习的)和模糊推理法则
    (4) 量化因子和比例因子的选择
    (5)编写模糊控制程序
    (6)实验仿真和参数调整确定
  2. 影响模糊控制器精度的原因
    (1)模糊控制器输入维数,当然一般是2
    (2)论域,论域过大导致会对某些数值反应迟钝,不使用的区域过大,解模糊出现问题;过小会导致数据会在定义的论域之外
    (3)量化等级,将论域离散成数目确定的几个小段,每一段用特定术语表示称为模糊标记
    (4)模糊标记数
    (5)量化因子Ke大,调节死区小,上升速率快,过大会导致系统超调甚至震荡,系统不稳定;Kec过大,系统反应迟钝,过小,上升速率快;过小会导致超调,系统不稳定;比例因子Ku相当于常规控制中的比例增益,大 上升速率快,过大超调。
  3. 如何提高模糊控制精度
    普通的模糊控制器类似于PD控制器,一定存在稳态误差。可以采用神经网络来训练隶属函数和模糊控制规则来提高精度。还有就是针对单模糊控制器在非线性补偿的不足,可以采用变参双模糊控制器。不仅可以调节精度还可以消除非线性误差

9.模糊神经网络

1. 模糊控制优缺点
(1)设计上的逻辑推理性,概念的透明性和每步操作都有明确物理意义
(2)规则制定过度以来人的经验,参数需要人为设定

2.神经网络优缺点
(1)网络权值设定有自适应性,能够自动学习的能力
(2)参数不具备明确的物理意义

3.模糊神经网络的优点
(1)通过训练来求得模糊系统中的参数,不必依赖专家经验和人工事先确定,做到了自动确定系统参数目标

11.遗传算法

  1. 概念
    基于自然选择和自然遗传学机理的迭代自适应概率性算法
  2. 基本操作
    (1)选择(复杂) 目的从当前种群选择优良个体,使其更有可能成为父代复制后代
    (2)交叉(交换) 目的维护种群多样性,加速遗传算法的进化速度,提高遗传算法的优化效率
    (3)变异 作用防止重要基因丢失,维护种群基因多样性;目的挖掘种群个体的多样性,克服有可能限于局部最优解得弊病
  3. 特点和优点
    (1)不需要梯度就能够获得全局最优解,
    (2)可大规模并行计算提高计算速度,适合大规模复杂问题优化
    (3)算法计算简单,功能强
    (4)对寻优函数没有限制
    (5)只需要对参数集进行操作,不需要对参数本身进行操作
  4. 应用
;