1 / 99
文档名称:

神经网络设计.ppt

格式:ppt   大小:2,830KB   页数:99页
下载后只包含 1 个 PPT 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

神经网络设计.ppt

上传人:落意心 2022/3/11 文件大小:2.76 MB

下载得到文件列表

神经网络设计.ppt

文档介绍

文档介绍:Lorem Ipsum
Lorem Ipsum is simply dummy text of the printing. Lorem Ipsum is simply dummy text of the printing.
神经网络设计
T
P
T
=
=
T
t
1
t
2
¼
t
Q
=
P
p
1
p
2
¼
p
Q
=
矩阵形式:
(权矩阵初始化为0)
性能分析
0
q
k
¹
=
情况1,输入向量为标准正交向量:
所以网络输出等于相应的目标输出:
情况2,输入向量标准化了但不正交:
误差
例子
香蕉
苹果
归一化原型模式
权矩阵(Hebb 规则):
测试:
香蕉
苹果
仿逆规则 - (1)
T
t
1
t
2
¼
t
Q
=
P
p
1
p
2
¼
p
Q
=
||
E
||
2
e
i
j
2
j
å
i
å
=
性能参数:
矩阵形式:
仿逆规则 - (2)
最小化:
若矩阵P的逆存在, 可以使得F(W)为零:
当逆阵不存在,F(W) 可以用仿逆规则最小化:
当矩阵P的行数R大于其列数Q,且P的列向量线性
无关时,其仿逆为:
与Hebb规则的关系
W
T
P
T
=
Hebb规则
仿逆规则
如果原型模式正交:
例子
性能曲面和最优点
性能学****br/>性能学****的优化分两步骤进行:
找一个衡量网络性能的定量标准,即性能指数:F(x)。性能指数在网络性能良好时很小,反之则很大。
搜索减小性能指数的参数空间(调整网络权值和偏置值)。下面将研究性能曲面的特性,建立确保极小点(即所寻求的最优点)存在的条件。
学****规则的几种类型:
联想学****竞争学****性能学****br/>性能学****目的在于调整网络参数以优化网络性能。
Taylor级数展开
F
x
(
)
F
x
*
(
)
x
d
d
F
x
(
)
x
x
*
=
x
x
*

(
)
+
=
1
2
-
-
-
x
2
2
d
d
F
x
(
)
x
x
*
=
x
x
*

(
)
2
¼
+
+
1
n
!
-
-
-
-
-
x
n
n
d
d
F
x
(
)
x
x
*
=
x
x
*

(
)
n
¼
+
+
例子
Taylor级数的近似表示:
F(x) 在x* = 0点的Taylor级数展开式为 :
0阶近似:
1阶近似:
2阶近似:
三个近似的图形
向量情况
F
x
(
)
F
x
*
(
)
x
1
¶
¶
F
x
(
)
x
x
*
=
x
1
x
1
*

(
)
x
2
¶
¶
F
x
(
)
x
x
*
=
x
2
x
2
*

(
)
+
+
=
¼
x
n
¶
¶
F
x
(
)
x
x
*
=
x
n
x
n
*

(
)
1
2
-
-
-
x
1
2
2
¶
¶
F
x
(
)
x
x
*
=
x
1
x
1
*

(
)
2
+
+
+
1
2
-
-
-
x
1
x
2
¶
2
¶
¶
F
x
(
)
x
x
*
=
x
1
x
1
*

(
)
x
2
x
2
*

(
)
¼
+
+
矩阵形式
F
x
(
)
F
x
*
(
)
F
x
(
)
Ñ
T
x
x
*
=
x
x
*

(
)
+
=
1
2
-
-
-
x
x
*

(
)
T
F
x
(
)
x
x
*
=
x
x
*

(
)
Ñ
2
¼
+
+
F
x
(
)
Ñ
x
1
¶
¶
F
x
(
)
x
2
¶
¶
F
x
(
)
¼
x
n
¶
¶
F
x
(
)
=
F
x
(
)
Ñ
2
x
1
2
2
¶
¶
F
x
(
)
x
1
x
2
¶
2
¶
¶
F
x
(
)
¼
x
1
x
n
¶
2
¶
¶
F
x
(