文档介绍：第五章有噪信道编码
第一节错误概率与译码规则
第二节错误概率与编码方法
第三节有噪信道编码定理
第四节联合信源信道编码定理
第六节纠错编码的基本思想
第七节常用编码方法
第五章有噪信道编码
前一章已经从理论上讨论了,对于无噪无损信道只要对信源进行适当的编码,总能以信道容量无差错的传递信息。但是一般信道总会存在噪声和干扰,那么在有噪信道中进行无错传输可以达到的最大信息传输率是多少呢?这就是本章所要讨论的问题。本章的核心是香农第二定理。
第一节错误概率与译码规则
为了减少错误,提高通信的可靠性,就必须分析错误概率与哪些因素有关,有没有办法控制,能控制到什么程度。
前边已经讨论过,错误概率与信道的统计特性有关,但并不是唯一相关的因素,译码方法的选择也会影响错误率。
第一节错误概率与译码规则
例:有一个BSC信道,如图所示
0
1
0
1
1/3
1/3
2/3
2/3
若收到“0”译作“0”,收到“1”译作“1”,则平均错误概率为:
反之,若收到“0”译作“1”,收到“1”译作“0”,则平均错误概率为1/3,可见错误概率与译码准则有关。
第一节错误概率与译码规则
我们来定义译码准则:
输入符号集
输出符号集
译码规则
例:
第一节错误概率与译码规则
译码规则的选择应该有一个依据,一个自然的依据就是使平均错误概率最小
有了译码规则以后,收到的情况下,译码的条件正确概率为:
可以设计译码准则:A:
和B:
第一节错误概率与译码规则
而错误译码的概率为收到后,推测发出除了之外其它符号的概率:
可以得到平均错误译码概率为:
它表示经过译码后平均没收到一个符号所产生错误的大小,也称平均错误概率。
第一节错误概率与译码规则
下面的问题就是如何选择,经过前边的讨论可以看出,为使最小,就应选择为最大,即选择译码函数并使之满足条件:
也就是说,收到一个符号以后译成具有最大后验概率的那个输入符号。这种译码准则称为“最大后验概率准则”或“最小错误概率准则”。
根据贝叶斯定律,上式也可以写成
第一节错误概率与译码规则
即:
当信源等概分布时,上式为:
这称为最大似然译码准则,方法是收到一个后,在信道矩阵的第j列,选择最大的值所对应的输入符号作为译码输出。
可进一步写出平均错误概率:
第一节错误概率与译码规则
也可写成:
上式也可写成对行求和:
如果先验概率相等,则: