实验一_绘制二进制熵函数曲线.ppt

文档介绍：实验一绘制二进制熵函数曲线一、实验目的?熟悉工作环境?掌握绘图函数的运用?理解熵函数表达式及其性质?掌握利用 MATLAB 对信源熵的求解?理解信道平均互信息的性质二、实验原理?熵?自信息量是针对信源的单个符号而言的,而符号是随机发生的,因此单个符号的不确定性不足于代表信源的不确定性性质,为此,可对所有符号的自信息量进行统计平均,从而得到平均不确定性。?熵的表示 1 2 1 1 1 ( ) ( , ,..., ) ( ) log K K k k k k k k k H X H p p p p I x p p ? ?? ??? ?注意的问题?熵是自信息量的统计平均,因此单位与自信息量的单位相同,与熵公式中所用对数的底有关: bit/ 符号、 nat /符号、 dit /符号、 r进制单位/符号。?特殊公式某个 p k=0时, 0log0=0 ( ) 在熵的定义中忽略零概率事件。 0 lim log 0 x x x ??离散熵的性质?可加性?非负性?凸状性 H(p1,p2, …, pk )是上凸函数。?极值性 1 1 1 1 1 2 1 2 ( ,..., ,..., ,..., ) ( , ,..., ) ( , ,..., ) j k k j k k H pq pq p q p q H p p p H q q q ? ? 1 2 1 1 ( , ,..., ) ( ,..., ) log k H p p p H K K K ? ?( 1, 2,..., ) ( ) 0 H p p pk H p ? ?三、实验内容?用Matlab 软件绘制二进熵函数曲线。?二元信源?二元信源的熵为 1 2 , 0 1 ( ) 1 x x Xp P X p p ?????????????????? ?? ?? ??????? ?? ??????????????? ?? ?( ,1 ) log (1 )log(1 ) H p p p p p p ? ????? Matlab 程序?p=::; ?h=-p. *log2(p)-(1-p). *log2(1-p); ?plot(p,h); ?title(' 二进熵函数曲线'); ?ylabel('H(p,1-p)') 绘制三元信源的熵?三元信源?三元信源的熵为 1 2 3 1 2 1 2 1 x x x x XP p p p p ?????????????????? ?? ??? ?? ????????????????? ?? ? 1 2 1 2 1 1 2 2 1 2 1 2 ( , ,1 ) log log (1 )log(1 ) H p p p p p p p p p p p p ? ????????? MATLAB 函数说明? eps :极小值,避免 0概率事件? meshgrid :语法[X,Y] = meshgrid(x,y ) 将矢量 x 和y规定的区域变换为数组 X和Y,X和Y可用于计算自变量函数或绘制 3维网格/表面。 X的各行均为矢量 x;Y的各列均为矢量 y。? nan :无效值? mesh :绘制网格曲面 Matlab 程序?p=linspace(eps,1-eps,100); ?q=linspace(eps,1-eps,100); ?[P,Q]= meshgrid(p,q ); ?P_Q=P+Q; ?for n=1:100 ? for m=1:100 ? if P_Q(n,m)>=1 ? Q(n,m)= nan ; ? end ? end ?end ?H=-P. *log2(P)-Q. *log2(Q)-(1-P-Q). *log2(1-P-Q); ?mesh(P,Q,H) ?title(' 三维熵函数的图形')