文档介绍：第三章 —(InformationSource)是信息的来源,是产生消息(符号)、时间离散的消息序列(符号序列),,用随机变量X、随机矢量X、随机过程X(e,t)分别表示产生消息、:􊑓如何描述信源(信源的数学建模问题);􊑓怎样定量描述信源输出信息的能力;􊑓怎样有效地表示信源输出的消息,,离散随机变量表示信源输出的是一个符号的消息,比如掷一颗骰子的试验;而通常实际信源输出的消息是时间(或空间)的函数,比如掷多颗骰子的试验;消息的取值还可能是连续的,,我们常根据信源输出的消息在时间和取值上是离散或连续进行分类,:,比如平时说话的语声和图像,在时间(或空间)和取值上都是连续的,这样的信源称为波形信源,用随机过程X(e,t),根据抽样定理,我们通常把它转化成时间离散的随机序列来处理,,因此还可以进一步经过分层量化,将连续随机变量转化成离散随机变量、,还可以根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源,,,,随机序列是随机过程的一种,是时间参数离散的随机过程,,:,是组成实际信源的基本单元,[X,P(X)]称为信源的概率空间:,X表示信源输出的消息的整体,xi表示某个消息,p(xi)(信源可能输出的消息数可以是有限个,也可以是可数无限个,通常是有限个),这些消息两两不相容,,p(xi)满足概率空间的非负性和完备性:,,称为离散多符号信源,通常用离散随机变量序列(随机矢量)来表示:X=X1X2⋯.例如,电报系统发出的是一串有无脉冲的信号(用有脉冲表示1,无脉冲表示0),因此电报系统是输出一串0、,这里只研究离散平稳信源,,X2,⋯,在任意两个不同时刻i和j(i和j为大于1的任意整数),信源发出的消息序列的概率分布完全相同,即对于任意的N=0,1,2,⋯,XiXi+1⋯Xi+N和XjXj+1⋯Xj+N具有相同的概率分布,也就是