文档介绍：该【信息论汇总马尔科夫信源 】是由【知识徜徉土豆】上传分享，文档一共【32】页，该文档可以免费在线阅读，需要了解更多关于【信息论汇总马尔科夫信源 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。1
信源与信息熵
第二章
信息论汇总马尔科夫信源
1/32
2
信源分类
2、离散
信源
{
离散无记忆信源
离散有记忆信源
{
{
发出单个符号无记忆信源
发出符号序列无记忆信源
发出符号序列有记忆信源
发出符号序列马尔可夫信源
1、连续信源
信息论汇总马尔科夫信源
2/32
3
表述有记忆信源需在N维随机矢量联合概率分布中，引入条件概率分布来说明它们之间关联。
信息论汇总马尔科夫信源
3/32
4
马尔可夫信源
马尔可夫信源
一类相对简单离散平稳有记忆信源
该信源在某一时刻发出字母概率除与该字母相关外,只与以前发出有限个字母相关
m阶马尔可夫信源：
信源输出某一符号概率仅与以前m个符号相关，而与更前面符号无关。
条件概率
信息论汇总马尔科夫信源
4/32
5
马氏链基本概念
一阶马尔可夫信源：
若把有限个字母记作一个状态S，则信源发出某一字母概率除与该字母相关外，只与该时刻信源所处状态相关。
信源未来状态及其送出字母将只与信源现在状态相关，而与信源过去状态无关。
引入状态变量好处：使得高阶马尔科夫过程能够转化为一阶马尔科夫过程处理。
信息论汇总马尔科夫信源
5/32
6
马氏链基本概念
令si = (xi1, xi2, …xim) xi1,,xi2, …xim ∈(a1, a2, …an)
状态集S ={ s1,s2,…,sQ} Q = nm
信源输出随机符号序列为：x1, x2,…xi-1, xi …
信源所处随机状态序列为：s1, s2,…si-1 , si …
例：二元序列为…01011100…
考虑m = 2，Q = nm =22= 4
s1 = 00 s2 = 01 s3 = 10 s4 = 11
变换成对应状态序列为
…s2 s3 s2 s4 s4 s3 s1…
信息论汇总马尔科夫信源
6/32
7
马尔可夫信源
设信源在时刻m处于si状态,它在下一时刻(m+1)状态转移到sj转移概率为：
pij(m) = p{Sm+1=sj| Sm= si}=p{sj | si}
pij(m)：基本转移概率（一步转移概率）
若pij(m)与m 取值无关,则称为齐次马尔可夫链
pij= p{Sm+1=sj| Sm= si}= p{S2=sj| S1= si}
pij含有以下性质：
pij≥0
信息论汇总马尔科夫信源
7/32
8
若信源处于某一状态si ,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻状态和发出符号决定。
系统在任一时刻可处于状态空间S ={ s1,s2,…,sQ}中任意一个状态,状态转移时,转移概率矩阵
符号条件概率矩阵
区分
信息论汇总马尔科夫信源
8/32
11
马尔可夫信源
状态转移图
齐次马尔可夫链能够用其状态转移图(香农线图)表示
每个圆圈代表一个状态
状态之间有向线代表某一状态向另一状态转移
有向线一侧符号和数字分别代表发出符号和条件概率
so
s1
1/
0/
0/
s2
1/
0/
1/
信息论汇总马尔科夫信源
11/32
例2 设一个二元一阶马尔科夫信源，信源符号集X={0,1}，信源输出符号条件概率为
p(0|0)=, p(0|1)=, p(1|0)=, p(1|1)=
求状态转移概率，画出状态转移图。
12
0
1
1：
0：
0：
1：
信息论汇总马尔科夫信源
12/32