文档介绍：2017/12/19
信息传输的抗干扰性
信道及信道容量
信道编码
二元线性码
线性码的编码与译码
循环码
循环码的编码与译码
抗干扰信道编码定理
2017/12/19
信道的一般数学模型
信道及信道容量
其中X表示输入,Y表示输出,条件概率P(Y|X)表示它们之间的统计依赖关系(称为转移概率分布)。这个数学模型也可以写作{ X P(Y|X) Y}。
2017/12/19
信道矩阵
设输入X的符号表是{a1, a2, …, an},输出Y的符号表是{b1, b2, …, bm}。将P(Y|X)用如下矩阵的方式表示:
称为该信道的信道矩阵。其中行表示输入X,列表示输出Y,p(bj|ai)(i = 1,…, n j = 1,…, m)表示输入是ai,输出是bj的条件概率。
信道及信道容量
2017/12/19
互信息公式:
互信息表示当收到bj后,可以提取到的关于ai的信息量。
上式称 I(X; Y) 是 Y 对 X 的平均互信息量,简称平均互信息。平均互信息 I(X; Y) 克服了互信息的随机性,成为一个确定的量,因此可以作为信道中信息流通的测度。
信道及信道容量
2017/12/19
假设信源 X 的熵为 H(X),我们希望在信道输出端接收到的信息量就是 H(X),但由于干扰的存在,一般情况下只能接收到 I(X; Y)。它是平均意义上每传送一个符号流经信道的信息量。
可以把I(X; Y)理解为信道的信息传输率(或信息率):
R = I ( X; Y )
信道及信道容量
2017/12/19
由于 I( X;Y ) 是信源概率分布 P(X) 和信道转移概率分布 P(Y|X) 的函数。给定一个信道,其 P(Y|X) 是固定的,因此,I(X;Y) 随信源概率分布 P(X) 的变化而变化,调整 P(X),在接收端就能获得不同的信息量。
而总能找到某一种 P(X)(即某一种信源),使信道所能传送的信息率达到最大。定义这个最大的信息传输率为信道容量,记为 C。
C = max R = max I(X;Y)
信道及信道容量
2017/12/19
有时我们关心的是信道在单位时间内能够传输的最大信息量。若信道平均传输一个符号需要事件t,则单位时间的信道容量为
Ct的单位是比特/秒,用bit/s表示。Ct 实际上是信道的最大信息传输速率。
信道及信道容量
2017/12/19
二元对称传送
检错与纠错原理
极大似然译码法
信道编码
2017/12/19
二元数字信息:是用二元数域F2={0,1}中的数字0与1组成的数组或向量
F2中的加法运算:0+0=1+1=0,0+1=1+0=1
F2中的乘法运算:1·1=1,1·0=0·1=0·0=0
通常用同样长度的二元数组代表一个信息集合中的信息。
如前文的英文字母示例。
信道编码:二元对称传送
2017/12/19
如果在传送过程中,传送任何一个信息是否发生错误与前面已传送的信息是否发生了错误无关,则称这种传送为无记忆传送。
在无记忆传送过程中,如果发送1收到0的概率与发送0收到1的概率都是p,且发送1收到1的概率与发送0收到0的概率都是1-p,即错误传送的概率为p,正确传送概率为1-p,则称这种传送为二元对称传送。一般p远小于1/2。
二元对称传送
信道编码:二元对称传送