文档介绍：信息与消息和信号的区别消息:是指包含有信息的语言、文字和图像等,可表达客观物质运动和主观思维活动的状态。信号:把消息变换成适合信道传输的物理量,这种物理量称为信号(如电信号、光信号、声音信号等)。信息是事物运动状态和状态改变的方式。第1章概论1信息信息是事物运动状态和状态改变的方式。研究信息论的目的:它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具,载荷信息的客体。2编码器信宿信道消息干扰消息通信系统模型信源信号解码器信号+干扰噪声源信息论的研究对象::要使信源发出的消息经过传输后,尽可能准确地、不失真或限定失真地再现在接收端有效:用尽可能短的时间和尽可能少的设备来传输最大的消息3单符号离散信源自信息量用概率测度定义信息量,设离散信源X,其概率空间为如果知道事件xi已发生,则该事件所含有的自信息定义为第2章信源熵4联合自信息量当X和Y相互独立时,p(xiyj)=p(xi)p(yj)5互信息量:yj对xi的互信息量定义为的后验概率与先验概率比值的对数。两个不确定度之差是不确定度被消除的部分,即等于自信息量减去条件自信息量。7平均信息量—信源熵:自信息的数学期望。也称为信源的信息熵/信源熵/熵。信息熵的意义:信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源,其信息熵是唯一的。不同的信源因统计特性不同,其熵也不同。8条件熵:是在联合符号集合XY上的条件自信息的数学期望。联合熵H(XY):表示输入随机变量X,经信道传输到达信宿,输出随机变量Y。即收、发双方通信后,整个系统仍然存在的不确定度。9信道疑义度—H(X|Y):表示信宿在收到Y后,信源X仍然存在的不确定度。是通过有噪信道传输后引起的信息量的损失,故也可称为损失熵。噪声熵—H(Y|X):表示在已知X的条件下,对于符号集Y尚存在的不确定性,这完全是由于信道中噪声引起的。唯一确定信道噪声所需要的平均信息量。10