文档介绍：第二章信息量和熵
信息量和熵
离散变量的非平均信息量
离散集的平均自信息量-熵
离散集的平均互信息量
连续随机变量的互信息和熵
凸函数和互信息的凸性
离散变量的非平均信息量
输入,输出空间定义
输入空间X={xk,k=1,2,…,K},概率记为q(xk)
输出空间Y={yj,j=1,2,…,J},概率记为ω(yj)
联合空间XY={xkyj ;k=1,2,…,K;j=1,2,…,J}, 概率为p(xkyj)
p(xkyj)= p(xk|yj)ω(yj)= p(yj|xk)q(xk)
非平均互信息量
输入消息
码字
p(xk)
收到0
收到01
收到011
X1
X2
X3
X4
X5
X6
X7
x8
000
001
010
011
100
101
110
111
1/8
1/8
1/8
1/8
1/8
1/8
1/8
1/8
1/4
1/4
1/4
1/4
0
0
0
0
0
0
1/2
1/2
0
0
0
0
0
0
0
1
0
0
0
0
非平均互信息量
输入消息
码字
p(xk)
收到0
收到01
收到011
X1
X2
X3
X4
X5
X6
X7
x8
000
001
010
011
100
101
110
111
1/8
1/4
1/8
1/4
1/16
1/16
1/16
1/16
1/6
1/3
1/6
1/3
0
0
0
0
0
0
1/3
2/3
0
0
0
0
0
0
0
1
0
0
0
0
非平均互信息量
输入消息
码字
p(xk)
收到0
收到01
收到011
X1
X2
000
111
1/2
1/2
1-p
p
1/2
1/2
1-p
p
1-p
1-p
0
0
1
1
p
p
非平均互信息量
条件互信息和联合事件互信息
三个事件集的条件互信息定义为
可以推广到任意有限多个空间情况
互信息的可加性
系统
u1
u2
u3
系统
u1
u2
u3