文档介绍：4 线性神经网络
Linear work
自适应线性神经元ADALINE(ADAptive LInear NEuron),它是线性神经网络最早的典型代表,其学****算法称之为LMS(Least Mean Square--最小均方误差)算法或WH学****规则。单层ADALINE网络和感知器网络一样,只能解决线性可分的问题,但其LMS学****规则却比感知器的学****规则的性能要强得多,一是增加了网络的抗噪能力,二是比感知器学****算法具有更广泛的实际用途,特别是在数字信号处理方面,比如,实现高性能的自适应滤波器。
但LMS算法只适于单层网络的训练,当需要进行多层网络的设计时,需要寻找新的学****算法,如BP算法。
线性神经网络模型
线性神经元模型
线性神经网络模型
线性神经网络层的输出为:
线性神经网络层的输出可以取任意值,克服了感知器神经网络的输出只能取0或1的不足。另外,一般感知器神经网络是单层的,而线性神经元网络可以是多层的。但线性网络和感知器神经网络一样只能求解线性问题。
ADALINE
ADALINE是一个自适应可调的网络,适用于信号处理中的自适应滤波、预测和模型识别。自适应线性神经元模型如图所示,它有两个输出量,a是模拟输出量,q是数字输出量;实际应用时,往往还将目标响应t与模拟输出量a的误差e = t - a作为输出。
线性神经网络的学****br/>线性神经网络可以不经过训练直接求出网络的权值和阈值,如果网络有多个零误差解,则取最小的一组权值和阈值;如果网络不存在零误差解,则取网络的误差平方和最小的一组权值和阈值。因为线性系统有惟一的误差最小值,在这种情况下,根据给定的一组输入向量和目标向量,可以计算出实际输出向量和目标向量的误差最小值。
另外, 如果求解的问题不能直接求出网络权值和阈值,线性神经网络及自适应线性神经网络可采用使均方误差最小的学****规则,即LMS(Least Mean Squares)算法,或称之为WH(Widrow-Hoff)学****规则来调整网络的权值和阈值,它是一种沿误差的最陡下降方向对前一步权值向量进行修正的。
对于Q个训练样本:
Widrow-Hoff学****规则的基本思想是要寻找最佳的W、b,使各神经元输出的均方误差最小。神经元的均方误差为:
线性神经网络的学****br/>Q —训练样本数;
a —神经元输出的实际值;
t —神经元输出的期望(目标)值。
对于单个线性神经元:
线性神经网络的学****br/>为避免求均方误差梯度的麻烦,以误差平方的梯度代替均方误差的梯度,则:
所谓最陡梯度下降就是梯度的反方向,则:
线性神经网络的学****br/>式中,是决定权值和阈值的收敛速度和稳定性参数,称之为学****速率,学****率越大,学****的速度越快,但过大的学****率会使修正过度,造成不稳定,反而使误差更大。
推广到多个线性神经元的情况,可写成向量形式:
线性神经网络的LMS学****规则,是建立在均方误差(函数)最小化的基础上的,其学****过程表现为误差曲面上的梯度下降。同时,由于误差相对于权值(维数)构成的抛物面只有一个极小值点,因此LMS算法可以保证误差函数最小,但这需要无限次学****所以实际应用中有限次的学****结果只能得到近似解,只有当输入模式线性无关时,LMS算法才可以使误差函数为零.
线性神经网络的学****br/>线性神经网络与感知器大体一致,只是创建神经网络的函数不同,另外,线性神经网络还可以用设计函数进行创建,不需要进行训练。
线性神经网络的MATLAB仿真程序设计
以newlin创建线性神经网络
以train训练所创建的网络,或以adapt自适应调整权值和阈值。若以newlind设计线性神经网络,则不需要进行训练。
以sim对训练后的网络进行仿真
有一点要特别注意,在有些应用中,自适应线性神经网络的输出不是取自线性神经元的输出,而是目标响应t与模拟输出量a的误差e = t - a。