模式识别课件-模式识别课件--神经网络模式识别-精选文档.ppt

1 人工神经网络发展概况 2 神经网络基本概念 3 前馈神经网络,神经网络模式识别法,11.1 人工神经网络发展概况,人工神经网络(Artificial Neural Networks，ANN)： 简称神经网络。,模拟人脑神经细胞的工作特点：,与目前按串行安排程序指令的计算机结构截然不同。,* 单元间的广泛连接； * 并行分布式的信息存贮与处理； * 自适应的学习能力等。,优点：,(1) 较强的容错性;,(2) 很强的自适应学习能力；,(3) 可将识别和若干预处理融为一体进行；,(4) 并行工作方式；,(5) 对信息采用分布式记忆，具有鲁棒性。,四个发展阶段：,第一阶段：启蒙期，始于1943年。,形式神经元的数学模型提出。,第二阶段：低潮期，始于1969年。,感知器(Perceptions)一书出版，指出局限性 。,第三阶段：复兴期，从1982年到1986年。,Hopfield的两篇论文提出新的神经网络模型；,并行分布处理出版，提出反向传播算法。,第四个阶段：1987年至今，趋于平稳。,回顾性综述文章“神经网络与人工智能” 。,11.2 神经网络基本概念,11.2.1 生物神经元,1生物神经元的结构,细胞体、树突、轴突和突触。,2生物神经元的工作机制,兴奋和抑制两种状态。,抑制状态的神经元 由树突和细胞体 接收传来的兴奋电位,不应期,产生输出脉冲,输入兴奋总 量超过阈值,神经元被激发 进入兴奋状态,由突触传递给其它神经元,11.2.2 人工神经元及神经网络,人工神经元：生物神经元的简化模拟。,人工神经元间的互连：信息传递路径轴突-突触-树突的简化；,连接的权值：两个互连的神经元之间相互作用的强弱。,图11.2 人工神经元模型,接收的信息 (其它神经元的输出),互连强度,作比较 的阈值,n维输入向量X,输出,输出函数,神经元的动作：,输出函数 f：也称 作用函数，非线性。,阈值型,S型,伪线性型,f 为阈值型函数时：,设 ，点积形式：,式中，,11.2.3 神经网络的学习,学习：,同一个训练集的样本输入输出模式反复作用于网络，网 络按照一定的训练规则自动调节神经元之间的连接强度或拓 扑结构，使实际输出满足期望的要求或者趋于稳定。,实质：,1Hebb学习规则,典型的权值修正方法： Hebb学习规则、误差修正学习,如果神经网络中某一神经元与另一直接与其相连的神经 元同时处于兴奋状态，那么这两个神经元之间的连接强度应 该加强。,神经网络的最重要特征之一。,wij(t+1)：修正一次后的某一权值； ：学习因子，表示学习速率的比例常数； yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。,由 有：,神经元间的连接,2. 学习规则,（3）更新权值，阈值可视为输入恒为（1）的一个权值；,（1）选择一组初始权值wij(1)；,（2）计算某一输入模式对应的实际输出与期望输出的误差；,式中，,（4）返回 (2) ，直到对所有训练模式网络输出均能满足要求。,dj，yj(t)：第j个神经元的期望输出与实际输出；,xi(t)：第j个神经元的第i个输入。,神经网络的学习体现在：,：学习因子；,权值变化； 网络结构变化。,11.2.4 神经网络的结构分类,分层结构,有明显层次，信息流向由输入层到输出层。, 前馈网络,没有明显层次，任意两个神经元之间可达，具有输出 单元到隐层单元或输入单元的反馈连接 。, 反馈网络,相互连接结构,11.3 前馈神经网络,11.3.1 感知器,感知器（Perceptron）：FRosenblatt于1957年提出。,感知器结构示意图,* 双层（输入层、输出层）； * 两层单元之间为全互连； * 连接权值可调。,结构特点：,* 输出层神经元个数等于类 别数（两类问题时输出层 为一个神经元）。,设输入模式向量， ，共M类。,输出层第j个神经元对应第j个模式类，,j：第 j个神经元的阈值；,wij：输入模式第i个分量与 输出层第j个神经元间的连接权。,令 。取,有,输出为,输出单元对所有输入数值加权求和，经阈值型输出函数 产生一组输出模式。,M类问题判决规则( 神经元的输出函数) 为,* 正确判决的关键：,输出层每个神经元必须有一组合适的权值。,* 感知器采用监督学习算法得到权值；,* 权值更新方法：学习规则。,算法描述,第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元的阈值。,第二步：输入新的模式向量。,第三步：计算神经元的实际输出。,设第k次输入的模式向量为Xk，与第j个神经元相连的权向量为,第j个神经元的实际输出为,第四步：修正权值。,dj：第j个神经元的期望输出。,第五步：转到第二步。,当全部学习样本都能正确分类时，学习过程结束。,经验证明，当随k的增加而减小时，算法一定收敛。,11.3.2 BP网络,BP网络：采用BP算法（Back-Propagation Training Algorithm） 的多层感知器。,误差反向传播算法,认识最清楚、应用最广泛。,性能优势：识别、分类,1多层感知器,针对感知器学习 算法的局限性：模式类必须线性可分。,输入层,第一隐层,第二隐层,输出层,中间层为一层或多层处理单元；,前馈网络；,结构：,只允许一层连接权可调。,2BP算法,两个 阶段,正向传播阶段：逐层状态更新,反向传播阶段：误差,BP算法的学习过程,设：某层任一神经元j的 输入为netj，输出为yj； 相邻低一层中任一 神经元i的输出为yi。,wij：神经元i与j之间的连接权；,f()：神经元的输出函数。,S型输出函数：,j：神经元阈值； h0：修改输出函数形状的参数。,设：输出层中第k个神经元的实际输出为yk，输入为netk； 与输出层相邻的隐层中任一神经元j的输出为yj。,对输入模式Xp，若输出层中第k个神经元的期望输出为 dpk，实际输出为ypk。输出层的输出方差 ：,若输入N个模式，网络的系统均方差为：,当输入Xp时，wjk的修正增量：,其中，,由 式得到：,令 ，可得,输出单元的误差：,输出单元的修正增量：,对于与输出层相邻的隐层中的神经元j和该隐层前低一层 中的神经元i ：,输出层中神经元输出的误差反向传播到前面各层，对各 层之间的权值进行修正。,BP算法步骤：,第一步：对权值和神经元阈值初始化：(0，1)上分布的随机数。,第二步：输入样本，指定输出层各神经元的希望输出值。,第三步：依次计算每层神经元的实际输出，直到输出层。,第四步：从输出层开始修正每个权值，直到第一隐层。,若j是输出层神经元，则：,若j是隐层神经元，则：,第五步：转到第二步，循环至权值稳定为止。,改进的权值修正：, 收敛快、权值平滑变化,：平滑因子，01。,BP算法存在问题：,* 存在局部极小值问题； * 算法收敛速度慢； * 隐层单元数目的选取无一般指导原则； * 新加入的学习样本影响已学完样本的学习结果。,