文档介绍：基于BP算法的异或运算的实现
刘政宇
摘要:在人工神经网络理论的基础上,利用多层感知器对异或问题进行解决。分析了BP算法的学****过程,采取BP算法编制一个C++语言的程序,实现基于BP算法的异或运算,并描述了使用BP算法实现异或问题的具体学****过程,给出了程序运行后的结果,验证了BP网络通过若干简单非线性处理单元的复合映射,可获得复杂的非线性处理能力。
关键词:人工神经网络多层感知器 BP算法异或运算
作为一门活跃的边缘性交叉学科,神经网络的研究与应用正成为人工智能、认识科学、神经生理学、非线性动力学等相关专业的热点。近十几年来,针对神经网络的学术研究大量涌现,上百种神经网络模型被提出,其应用涉及模式识别、联想记忆、信号处理、自动控制、组合优化、故障诊断及计算机视觉等众多方面,取得了令人瞩目的进展。
经过近半个世纪的发展,神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。关于学****联想和记忆等具有智能特点过程的机理及其模拟方面的研究正受到越来越多的重视。
学****功能是神经网络最主要的特征之一。各种学****算法的研究,在人工神经网络理论与实践发展过程中起着重要作用。当前,人工神经网络研究的许多课题都致力于学****算法的改进、更新和应用。
1958年,美国学者Frank Rosenblatt首次定义了一个具有单层计算单元的神经网络结构,取名为感知器(Perceptron)。
经过论证,单层感知器只能进行线性分类,对非线性样本的划分无法实现,例如异或问题在二维空间中就是一个非线性的样本空间分类的问题,就需要用到多层感知器,即网络应具有隐层,但对隐层神经元的学****规则尚无所知。就感知器学****规则来说,其权值的调整取决于网络期望输出与实际输出之差,而对各隐层节点来说,不存在期望输出,因而该学****规则对隐层权值调整不适用。此时需要用到误差反向传播的BP学****规则。
BP(Back Propagation)elland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学****和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学****规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)。
BP算法由数据流的前向计算(正向传播)和误差信号的反向传播两个过程构成。正向传播时,传播方向为输入层→隐层→输出层,每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出,则转向误差信号的反向传播流程。通过这两个过程的交替进行,在权向量空间执行误差函数梯度下降策略,动态迭代搜索一组权向量,使网络误差函数达到最小值,从而完成信息提取和记忆过程。
BP算法的学****目的是对网络的连接权值进行调整,使得调整后的网络对任一输入都能达到所期望的输出。学****过程由正向传播与反向传播组成。正向传播用于对前向网络进行计算,即对某一输入信息,经过网络计算后得出它的输出结果;反向传播用于逐层传递误差,修改神经元间的连接权值,以使网络对于输入信息经过计算后得到的输出能达到期望的误差要求。
学****的方法是使用一组训练样例对网络的连接权值进行训练,每一个样例中,都包括输入及期望的输出两部分。在正向传播算法中,首先将训练样例的输入信息输入到网络中,输入信息从输入层经过隐层节点逐层计算处理后,传至输出层。在计算处理过程中,每一层神经元的状态只影响下一层神经元的状态,如果在输出层得到的结果不是所期望的输出,那么就转为反向传播。
反向传播把误差信号沿路径方向传回,并按一定的原则对各层神经元的权值进行修正,直到第一个隐层,这时再开始进行正向传播,利用刚才的输入信息进行正向网络计算,如果网络的输出达到了误差要求,则学****过程结束,如果达不到要求,则再进行反向传播的连接权值调整。
这一过程不断反复,直到网络正向计算的输出结果达到误差要求的结果为止,这时学****过程结束。具体算法过程见右图。一旦网络进行训练后,在用于求解实际问题时就只需要使用正向传播,而不需要使用反向传播了。
使用BP算法实现异或问题的具体学****过程按以下步骤顺序进行:
(1)网络状态初始化:用较小的随机数对网络的权值(Wji)和(Vkj)以及偏置值(θj)和(γk)赋初值。
(2)输入第一个模式。
(3)把学****模式的值作为输入层单元i的输出(Ii),用输入层到中间层的权值(Wji)和中间层单元的偏置值(θj),求出对中间单元j的输入Uj以及相应的输出Hj:
Uj=·Ii +θj,
Hj= f(Uj)。
上式中的f(·)是Sigmoid函