文档介绍：1 郑州轻工业学院本科生实验报告实验名称绘制信源熵函数曲线课程名称信息论与编码姓名**指导教师*** 专业、班级*** 学号5********* 实验时间****** 实验地点 121 实验目的。 matlab 软件的基本操作,练习应用 matlab 软件进行信源熵函数曲线的绘制。 3. 理解信源熵的物理意义,并能从信源熵函数曲线图上进行解释其物理意义。 2 实验条件、原理和计算公式产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。假定 X 是一个离散随机变量, 即它的取值范围 R ={x 1,x 2,x 3,…} 是有限或可数的。设第 i个变量 x i发生的概率为 p i=P {X= x i}。则: 定义一个随机事件的自信息量 I(x i )为其对应的随机变量 x i 出现概率对数的负值。即: I( x i) = -log 2p(x i) 定义随机事件 X的平均不确定度 H(X)为离散随机变量 x i出现概率的数学期望,即: ????? ii iiiixpxpxIxpXH)( log )()()()( 单位为比特/符号或比特/符号序列。平均不确定度 H(X)的定义公式与热力学中熵的表示形式相同, 所以又把平均不确定度 H(X)称为信源 X的信源熵。必须注意一下几点: a) 某一信源,不管它是否输出符号,只有这些符号具有某些概率特性,必有信源的熵值;这熵值是在总体平均上才有意义, 因而是个确定值,一般写成 H(X),X是指随机变量的整体(包括概率分布)。 b)信息量则只有当信源输出符号而被接收者收到后,才有意义, 这就是给与信息者的信息度量,这值本身也可以是随机量, 也可以与接收者的情况有关。 c) 熵是在平均意义上来表征信源的总体特征的,信源熵是表征信源的平均不确定度,平均自信息量是消除信源不确定度时所需要的信息的量度,即收到一个信源符号,全部解除了这个符号的不确定度。或者说获得这么大的信息量后,信源不确定度就被消除了。信源熵和平均自信息量两者在数值上相等,但含义不同。 d) 当某一符号 x i的概率 p(x i)为零时,p(x i )log p(x i) 在熵公式中无意义,为此规定这时的 p(x i )log p(x i) 也为零。当信源 X 中只含有一个符号 x时,必有 p(x )=1 ,此时信源熵 H(X)为零。例 1-1 ,设信源符号集 X ={0 ,1} ,每个符号发生的概率分别为 p (0)= p,p (1)= q,p+ q =1 ,即信源的概率空间为 3 ????????????? 10qpP X 则该二元信源的信源熵为: H(X)=-p log p–q log q=-p log p–(1-p) log (1-p) 即: H (p) =-p log p–(1-p) log (1-p) 其中 0