神经网络设计.ppt

文档介绍：Lorem Ipsum
Lorem Ipsum is simply dummy text of the printing. Lorem Ipsum is simply dummy text of the printing.
神经网络设计
T
P
T
=
=
T
t
1
t
2
¼
t
Q
=
P
p
1
p
2
¼
p
Q
=
矩阵形式:
(权矩阵初始化为０)
性能分析
0
q
k
¹
=
情况１，输入向量为标准正交向量：
所以网络输出等于相应的目标输出：
情况２，输入向量标准化了但不正交：
误差
例子
香蕉
苹果
归一化原型模式
权矩阵(Hebb 规则)：
测试：
香蕉
苹果
仿逆规则 - (1)
T
t
1
t
2
¼
t
Q
=
P
p
1
p
2
¼
p
Q
=
||
E
||
2
e
i
j
2
j
å
i
å
=
性能参数：
矩阵形式：
仿逆规则 - (2)
最小化：
若矩阵P的逆存在, 可以使得F(W)为零：
当逆阵不存在，F(W) 可以用仿逆规则最小化：
当矩阵P的行数Ｒ大于其列数Ｑ，且P的列向量线性
无关时，其仿逆为：
与Hebb规则的关系
W
T
P
T
=
Hebb规则
仿逆规则
如果原型模式正交：
例子
性能曲面和最优点
性能学****br/>性能学****的优化分两步骤进行：
找一个衡量网络性能的定量标准，即性能指数：F(x)。性能指数在网络性能良好时很小，反之则很大。
搜索减小性能指数的参数空间(调整网络权值和偏置值)。下面将研究性能曲面的特性，建立确保极小点(即所寻求的最优点)存在的条件。
学****规则的几种类型：
联想学****竞争学****性能学****br/>性能学****目的在于调整网络参数以优化网络性能。
Taylor级数展开
F
x
(
)
F
x
*
(
)
x
d
d
F
x
(
)
x
x
*
=
x
x
*
–
(
)
+
=
1
2
-
-
-
x
2
2
d
d
F
x
(
)
x
x
*
=
x
x
*
–
(
)
2
¼
+
+
1
n
!
-
-
-
-
-
x
n
n
d
d
F
x
(
)
x
x
*
=
x
x
*
–
(
)
n
¼
+
+
例子
Taylor级数的近似表示：
F(x) 在x* = 0点的Taylor级数展开式为 ：
０阶近似：
１阶近似：
２阶近似：
三个近似的图形
向量情况
F
x
(
)
F
x
*
(
)
x
1
¶
¶
F
x
(
)
x
x
*
=
x
1
x
1
*
–
(
)
x
2
¶
¶
F
x
(
)
x
x
*
=
x
2
x
2
*
–
(
)
+
+
=
¼
x
n
¶
¶
F
x
(
)
x
x
*
=
x
n
x
n
*
–
(
)
1
2
-
-
-
x
1
2
2
¶
¶
F
x
(
)
x
x
*
=
x
1
x
1
*
–
(
)
2
+
+
+
1
2
-
-
-
x
1
x
2
¶
2
¶
¶
F
x
(
)
x
x
*
=
x
1
x
1
*
–
(
)
x
2
x
2
*
–
(
)
¼
+
+
矩阵形式
F
x
(
)
F
x
*
(
)
F
x
(
)
Ñ
T
x
x
*
=
x
x
*
–
(
)
+
=
1
2
-
-
-
x
x
*
–
(
)
T
F
x
(
)
x
x
*
=
x
x
*
–
(
)
Ñ
2
¼
+
+
F
x
(
)
Ñ
x
1
¶
¶
F
x
(
)
x
2
¶
¶
F
x
(
)
¼
x
n
¶
¶
F
x
(
)
=
F
x
(
)
Ñ
2
x
1
2
2
¶
¶
F
x
(
)
x
1
x
2
¶
2
¶
¶
F
x
(
)
¼
x
1
x
n
¶
2
¶
¶
F
x
(