文档介绍：第1章信源与信息熵就狭义而言,在通信中对信息的表达分为三个层次:信号、消息、信息。?信号:是信息的物理表达层,是三个层次中最具体的层次。它是一个物理量,是一个载荷信息的实体,可测量、可描述、可显示。什么是信息??消息:(或称为符号)是信息的数学表达层,它虽不是一个物理量,但是可以定量地加以描述,它是具体物理信号的进一步数学抽象,可将具体物理信号抽象为两大类型:?离散(数字)消息,一组未知量,可用随机序列来描述:X=(X1…Xi…Xn)?连续(模拟)消息,未知量,它可用随机过程来描述:X(t)?信息:它是更高层次哲学上的抽象,是信号与消息的更高表达层次。?信息、消息和信号是既有区别又有联系的三个不同的概念。?消息中包含信息,是信息的载体。?信号携带着消息,它是消息的运载工具。?信息可认为是由具体的物理信号、数学描述的消息的内涵,即信号具体载荷的内容、消息描述的含义。?而信号则是抽象信息在物理层表达的外延;消息则是抽象信息在数学层表达的外延。信息、消息和信号?同一信息,可以采用不同的信号形式(比如文字、语言、图象等)来载荷;同一信息,也可以采用不同的数学表达形式(比如离散或连续)来定量描述。?同一信号形式,比如“0”与“1”可以表达不同形式的信息,比如无与有、断与通、低与高(电平)等等。 信源特性与分类通信的根本问题是将输出的信源在接收端尽可能精确地复现出来,所以需要讨论如何描述信源的输出,即如何计算信源产生的信息量。信源的概念?信源-信息的发源地,如人,生物,机器等等。?由于信息是十分抽象的东西,所以要通过信息载荷者,即消息来研究信源,这样信源的具体输出称作消息。?消息的形式可以是离散消息(如汉字、符号、字母)或连续消息(如图像、语音)。?信源消息中的信息是一个时变的不可预知的函数,因此,描述信源消息或对信源建模,随机过程是一个有效的工具,随机过程的特性依赖于信源的特性。离散信源和连续信源连续信源:如果信源输出的随机变量取值于某一连续区间,为连续信号,消息的个数是无穷值,就叫做连续信源。比如人发出的语音信号X(t)、模拟的电信号等等。信源的输出被抽象为一个随机变量序列(随机过程)离散信源:如果信源输出的随机变量取值于某一离散符号集合,消息在时间和幅值上均是离散的,就叫做离散信源。比如平面图像X(x,y)和电报、书信、文稿等等。单符号离散信源的数学模型??????????),(,)(11upuupUu2 , …, ui, …, p(u2), …, p(ui), …,???)(nnupu其中p(ui)满足:?????niiiupup111)(,)(0注意:大写U代表随机变量,指的是整体。带下标的小写ui代表随机事件的某一结果或某个元素。离散序列信源实际信源不可能仅发送单个符号,而是发送一组符号,即一个随机序列,如电报、数字语音、数字图像等。离散序列信源),,,,(21LlUUUU??lUU=为第l时刻的随机变量U的一个样本u可表示为),,(1Lluuu??u=),,(1Lluuup??(u)=p