文档介绍：
平稳信源的概念与分类
最基本离散信源:信源每次输出只是单个符号的消
(X)来对基本离散信源进行信息测度;研
究信息熵的基本性质。
然而,很多实际信源输出的消息是时间上或空间
上的一系列符号,即离散随机序列,两个特点:
1。每一位出现哪个符号都是随机的,
2。前后符号的出现是有统计依赖关系的(有记忆离散
信源序列)。

此时,可用随机矢量来描述信源发出的消息,即
X = (L, X1, X 2 , X 3,L, X i ,L,其中) X i 表示t=i时刻所发出
的符号。信源在t=i时刻将要发出什么样的符号
决定于两方面:
(1)与信源在t=i时刻 X i取值的概率分布 p(xi ) 有关。
p(xi ) ≠ p(x j )

(2)与t=i时刻以前信源发出的符号有关,即与条
件概率 p(xi / xi−1xi−2 L) 有关。同样在一般情况
下,它也是时间t的函数,所以
p(xi / xi−1xi−2Lxi−N L) ≠ p(xj / xj−1xj−2Lxj−N L)
以上所叙述的是一般随机序列的情况,它比较复
杂。下面我们只讨论离散无记忆序列信源和两
种较简单的离散有记忆序列信源:平稳序列信
源和齐次遍历马氏链信源。

对,X N 有P53
P(X i ) = P(X j ) 一维平稳信源
任何时刻发单符号概率相同
P(X i X i+1) = P(X j X j+1 ) 二维平稳信源
任何时刻发双符号概率相同
维平稳信源
P(X i K X i+ N ) = P(X j K X j+ N ) N+1
任何时刻发N+1符号概率相同

例题:(P55 )已知离散有记忆信源中各符号的概率
空间为 x x x
⎡X⎤⎡ 1 2 3 ⎤
⎢⎥= ⎢1 4 11⎥
P ⎢⎥
⎣⎦⎣4 9 36⎦
现信源发出二重符号序列消息(xi , x j ) ,这两个符
号的关联性用条件概率 p(x j / xi )表示,并由下
表给出。求原始信源熵H(X)、信源的序列熵
H(X1 X2)和平均符号熵H2(X) 。

解:条件熵为 x
3 3 x j
i x
H(X2 / X1) = −∑∑p(xi xj )log2 p(xj / xi ) x1 x2 3
ij==1 1
x1 7/9 2/9 0
=
x 1/8 3/4 1/8
单符号信源熵为 2
3 x 3 0 2/11 9/11
H1(X ) = H (X1) = −∑ p(xi )log2 p(xi )
i=1
= / 符号

发二重符号序列的熵为
H (X1 X 2 ) = H (X1) + H (X 2 / X1) = + = / 符号
平均符号熵为
1
H (X) = H ( X 2 ) = / 符号
2 2
比较上述结果可知:H2(X) < H1(X),即二重序列的
符号熵值较单符号熵变小了,也就是不确定度
减小了,这是由于符号之间存在相关性造成的。

)
H (X) = H (X1 X 2 L X N
)
= H (X1) + H (X 2 / X1 +L+ H (X N / X1 X 2 L X N −1)
N
记作: N l−1
H (X) = H (X ) = ∑ H (X l / X )
l=1
平均每个符号的熵为:
1
H (X) = H (X)
N N

对离散平稳信源,其联合概率具有时间推移不变性,此
时有如下结论:
(1)H N (X) 是N的单调非增函数。
(2)当 N →∞时,
H (X) = H (X) = H(X / X X X )
∞ lim N lim N 1 2 L N−1
N→∞ N→∞
H∞(X) 称为极限熵,又称为极限信息量。

于是有:
H0(X)≥H1(X)≥H2(X)≥L≥H∞(X)
H0(X) 为等概率无记忆信源单个符号的熵,
H1(X)为一般无记忆信源单个符号的熵,
H2(