文档介绍：神经网络设计
生物学的启示
人脑具有巨大的并行计算能力
– 大脑约有1011个神经元
– 每个神经元约有104个连接
神经元相对于电子线路要慢许多
– 10-3 秒相对于10-9 秒
树突（输入）
时，其仿逆为：
与Hebb规则的关系
W
T
P
T
=
Hebb规则
仿逆规则
如果原型模式正交：
例子
性能曲面和最优点
性能学****br/>性能学****的优化分两步骤进行：
找一个衡量网络性能的定量标准，即性能指数：F(x)。性能指数在网络性能良好时很小，反之则很大。
搜索减小性能指数的参数空间(调整网络权值和偏置值)。下面将研究性能曲面的特性，建立确保极小点(即所寻求的最优点)存在的条件。
学****规则的几种类型：
联想学****竞争学****性能学****br/>性能学****目的在于调整网络参数以优化网络性能。
Taylor级数展开
F
x
(
)
F
x
*
(
)
x
d
d
F
x
(
)
x
x
*
=
x
x
*
–
(
)
+
=
1
2
-
-
-
x
2
2
d
d
F
x
(
)
x
x
*
=
x
x
*
–
(
)
2
¼
+
+
1
n
!
-
-
-
-
-
x
n
n
d
d
F
x
(
)
x
x
*
=
x
x
*
–
(
)
n
¼
+
+
例子
Taylor级数的近似表示：
F(x) 在x* = 0点的Taylor级数展开式为 ：
０阶近似：
１阶近似：
２阶近似：
三个近似的图形
向量情况
F
x
(
)
F
x
*
(
)
x
1
¶
¶
F
x
(
)
x
x
*
=
x
1
x
1
*
–
(
)
x
2
¶
¶
F
x
(
)
x
x
*
=
x
2
x
2
*
–
(
)
+
+
=
¼
x
n
¶
¶
F
x
(
)
x
x
*
=
x
n
x
n
*
–
(
)
1
2
-
-
-
x
1
2
2
¶
¶
F
x
(
)
x
x
*
=
x
1
x
1
*
–
(
)
2
+
+
+
1
2
-
-
-
x
1
x
2
¶
2
¶
¶
F
x
(
)
x
x
*
=
x
1
x
1
*
–
(
)
x
2
x
2
*
–
(
)
¼
+
+
矩阵形式
F
x
(
)
F
x
*
(
)
F
x
(
)
Ñ
T
x
x
*
=
x
x
*
–
(
)
+
=
1
2
-
-
-
x
x
*
–
(
)
T
F
x
(
)
x
x
*
=
x
x
*
–
(
)
Ñ
2
¼
+
+
F
x
(
)
Ñ
x
1
¶
¶
F
x
(
)
x
2
¶
¶
F
x
(
)
¼
x
n
¶
¶
F
x
(
)
=
F
x
(
)
Ñ
2
x
1
2
2
¶
¶
F
x
(
)
x
1
x
2
¶
2
¶
¶
F
x
(
)
¼
x
1
x
n
¶
2
¶
¶
F
x
(
)
x
2
x
1
¶
2
¶
¶
F
x
(
)
x
2
2
2
¶
¶
F
x
(
)
¼
x
2
x
n
¶
2
¶
¶
F
x
(
)
¼
¼
¼
x
n
x
1
¶
2
¶
¶
F
x
(
)
x
n
x
2
¶
2
¶
¶
F
x
(
)
¼
x
n
2
2
¶
¶
F
x
(
)
=
梯度
Hessian矩阵
方向导数
F(x)沿xi轴的一阶导数(斜率):
F(x)沿xi轴的二阶导数(曲率):
(梯度的第i个元素)
(Hessian矩阵的第i,i 处的元素)
p
T
F
x
(
)
Ñ
p
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
F(x)沿向量p 的一阶导数(斜率)