文档介绍：信息论与编码- 第2章信源熵
香农信息论三个基本概念:
信源熵、信道容量、信息率失真函数
研究内容:有效、可靠、安全地传输信息
如何研究:利用信息度量(原因?5种方法P10)
最常用:统计度量
信息是由信源发出的
数学模型
#分类
1. 连续信源:发出在时间上和幅度上都是连续
分布的连续消息的信源;
2. 离散信源:发出在时间上和幅度上都是离散
分布的信源。
离散信源又可以细分为:
(1)离散无记忆信源:所发出的各个符号之间
是相互独立的,各个符号的出现概率是它自身
的先验概率。
(2)离散有记忆信源:发出的各个符号之间不
是相互独立的,各个符号出现的概率是有关联
的。
也可以根据信源发出一个消息所用符号的多
少,将离散信源分为:
1. 发出单个符号的离散信源:信源每次只发出
一个符号代表一个消息;
2. 发出多符号的离散信源:信源每次发出一组
含二个以上符号的符号序列代表一个消息。
将以上两种分类结合,就有四种离散信源:
(1)发出单符号的无记忆离散信源;
(2)发出多符号的无记忆离散信源;
(3)发出单符号的有记忆离散信源;
(4)发出多符号的有记忆离散信源。
自信息和信源熵
一、信息量
如何定义?
二、互信息和条件互信息
信息流通的根本问题,是定量计算信宿
收到信道输出的某一符号后,从中获取
关于信源某一符号的信息量
信源X 有扰离散信宿Y
信道
干扰源
(1)对称性: I(xi ; y j ) = I(y j ; xi )
(2) 独立时,I(xi ; y j ) =0;
(3) 当时p(xi | y j ) > p(xi ) ,互信息为正,表明
有所得或 y j 的出现有利于 xi 的出现;
当时p(xi | y j ) < p(xi ) ,互信息为负,表明有
干扰或的出现不利于y j 的出现。xi
:互信息+条件
三、信源熵
定义:信源熵(香农熵、熵函数、无条件熵、熵)
H (X ) = E[I(xi )] = ∑ p(xi )I(xi ) = −∑ p(xi )log2 p(xi )
i i
: (1) 给定 y j 的条件下, xi 的条件自信息
I(x / y )
量为 i j ,随机事件X的条件熵H(X/yj)为
H ( X / y j ) = ∑ p(xi / y j )I (xi / y j )
i
(2)
)
H(X/Y)=∑p(yj )H(X/ yj )=∑p(yj )p(xi / yj )I(xi / yj )=∑p(xi yj I(xi / yj )
j i,j i,j