文档介绍：实验四、 RBF 神经网络一、实验目的通过计算机编程实现并验证 RBF 神经网络的曲线拟合及模式分类能力。二、实验内容 1)用 Matlab 实现 RBF 神经网络,并对给定的曲线样本集实现拟合; 2)通过改变实验参数,观察和分析影响 RBF 神经网络的结果与收敛速度的因素; 三、实验原理、方法和手段 RBF 网络能够逼近任意的非线性函数,可以处理系统内的难以解析的规律性,具有良好的泛化能力,并有很快的学****收敛速度,已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。简单说明一下为什么 RBF 网络学****收敛得比较快。当网络的一个或多个可调参数(权值或阈值)对任何一个输出都有影响时,这样的网络称为全局逼近网络。由于对于每次输入,网络上的每一个权值都要调整,从而导致全局逼近网络的学****速度很慢。 BP网络就是一个典型的例子。如果对于输入空间的某个局部区域只有少数几个连接权值影响输出,则该网络称为局部逼近网络。常见的局部逼近网络有 RBF 网络、小脑模型( CMAC )网络、 B样条网络等。径向基函数解决插值问题完全内插法要求插值函数经过每个样本点,即。样本点总共有P个。 RBF 的方法是要选择 P个基函数,每个基函数对应一个训练数据,各基函数形式为,由于距离是径向同性的,因此称为径向基函数。||X-Xp|| 表示差向量的模,或者叫 2范数。基于为径向基函数的插值函数为: 输入 X是个 m维的向量,样本容量为 P,P>m 。可以看到输入数据点 Xp是径向基函数φp的中心。隐藏层的作用是把向量从低维 m映射到高维 P,低维线性不可分的情况到高维就线性可分了。将插值条件代入: 写成向量的形式为,显然Φ是个规模这 P对称矩阵,且与 X的维度无关,当Φ可逆时,有。对于一大类函数,当输入的 X 各不相同时, Φ就是可逆的。下面的几个函数就属于这“一大类”函数: 1)Gauss (高斯)函数 2)Reflected Sigmoidal (反常 S型)函数 3)Inverse multiquadrics (拟多二次)函数σ称为径向基函数的扩展常数,它反应了函数图像的宽度, σ越小,宽度越窄,函数越具有选择性。完全内插存在一些问题: 1)插值曲面必须经过所有样本点,当样本中包含噪声时,神经网络将拟合出一个错误的曲面,从而使泛化能力下降。由于输入样本中包含噪声,所以我们可以设计隐藏层大小为 K,K<P ,从样本中选取 K个(假设不包含噪声)作为Φ函数的中心。 2)基函数个数等于训练样本数目,当训练样本数远远大于物理过程中固有的自由度时,问题就称为超定的,插值矩阵求逆时可能导致不稳定。拟合函数 F的重建问题满足以下 3个条件时,称问题为适定的: 解的存在性解的唯一性解的连续性不适定问题大量存在,为解决这个问题,就引入了正则化理论。正则化理论正则化的基本思想是通过加入一个含有解的先验知识的约束来控制映射函数的光滑性,这样相似的输入就对应着相似的输出。寻找逼近函数 F(x) 通过最小化下面的目标函数来实现: 加式的第一项好理解,这是均方误差,寻找最优的逼近函数,自然要使均方误差最小。第二项是用来控制逼近函数光滑程度的,称为正则化项,λ是正则化参数,D是一个线性微分算子,代表了对 F(x) 的先验知识。曲率过大(光滑度过低)的