RBF神经网络.ppt

文档介绍：RBF(径向基)神经网络
Keynote: 尤志强
1、RBF函数是为了解决多变量插值问题2、RBF神经网络是为了解决非线性可分模式分类问题
为什么要引入RBF神经网络?
优点
①它具有唯一最佳逼近的特性,且无BP算法中存在的局部极小问题。
RBF神经网络具有较强的输入和输出映射功能,并且理论证明在前向网络中RBF网络是完成映射功能的最优网络。
③网络连接权值与输出呈线性关系。
④分类能力好。
⑤学****过程收敛速度快。
与BP神经网络的比较
Poggio和Girosi已经证明:
RBF网络是连续函数的最佳逼近,而BP网络不是。
BP网络使用的Sigmoid函数具有全局特性,它在输入值的很大范围内每个节点都对输出值产生影响,并且激励函数在输入值的很大范围内相互重叠,因而相互影响,因此BP网络训练过程很长。
BP网络容易陷入局部极小的问题不可能从根本上避免
BP网络隐层节点数目的确定依赖于经验和试凑,很难得到最优网络。
RBF不仅有良好的泛化能力,而且对于每个输入值,只有很少几个节点具有非零激励值,因此只需很少部分节点及权值改变。
学****速度可以比通常的BP算法提高上千倍,容易适应新数据
RBF神经网络是怎样的?
RBF神经网络概念
1、1985年,Powell提出了多变量插值的径向基函数(Radical Basis
Function,RBF)方法
2、1988年, Moody和Darken提出了一种神经网络结构,即RBF神经
网络
3、RBF网络是一种三层前向网络
4、基于“Cover理论”
5、用RBF作为隐单元的“基”构成隐含层空间,将输入矢量直接(即
不需要通过权连接)映射到隐空间;
当RBF的中心点确定后,映射关系也就确定;
隐含层空间到输出空间的映射是线性的
通过最小二乘估计来解给定的分类问题。
Cover理论
定义:假设空间不是稠密分布的,将复杂的模式分类问题非线性地投射到高维空
间将比投射到低微空间更可能是线性可分的。
x=0
Cover理论在RBF网络中应用
考虑一族曲面,每一个曲面都自然地将输入空间分成两个区域。用代表N个模式(向量)x1,x2,……xN的集合,其中每一个模式都分属于两个类1和2中的一类。如果在这一族曲面中存在一个曲面能够将分别属于1和2的这些点分成两部分,我们就称这些点事二分(二元划分)关于这族曲面是可分的。对于每一个模式x ,定义一个由一组实值函数{ⱷ i(x)| i=1,2,…..m1}组成的向量,表示如下:

假设模式x是m0维输入空间的一个向量,则向量
考虑一族曲面,每一个曲面都自然地将输入空间分成两个区域。用代表N个模式(向量)x1,x2,……xN的集合,其中每一个模式都分属于两个类1和2中的一类。如果在这一族曲面中存在一个曲面能够将分别属于1和2的这些点分成两部分,我们就称这些点事二分(二元划分)关于这族曲面是可分的。对于每一个模式x ,定义一个由一组实值函数{ⱷ i(x)| i=1,2,…..m1}组成的向量,表示如下:

假设模式x是m0维输入空间的一个向量,则向量
Cover理论在RBF网络中应用
一个关于的二分{1,2}是可分的。那么存在一个m1维的向量w使得可以得到如下公式(Cover ,1965):
那么所获得的超平面的逆像就是: