文档介绍：实验一绘制二进制熵函数曲线
一、实验目的
熟悉工作环境及工具箱
掌握绘图函数的运用
理解熵函数表达式及其性质
二、实验原理
熵
自信息量是针对信源的单个符号而言的,而符号是随机发生的,因此单个符号的不确定性不足于代表信源的不确定性性质,为此,可对所有符号的自信息量进行统计平均,从而得到平均不确定性。
熵的表示
注意的问题
熵是自信息量的统计平均,因此单位与自信息量的单位相同,与熵公式中所用对数的底有关:
bit/符号、nat/符号、dit/符号、r进制单位/符号。
特殊公式
某个pk=0时,0log0=0 ( )
在熵的定义中忽略零概率事件。
离散熵的性质
对称性
可扩展性
非负性
强可加性
可加性
渐化性
凸状性
H(p1,p2,…,pk)是上凸函数。
极值性
三、实验内容
用 Matlab 软件绘制二进熵函数曲线。
二元信源
二元信源的熵为
Matlab程序
p=::1;
h=-p.*log2(p)-(1-p).*log2(1-p);
plot(p,h);
title('二进熵函数曲线');
ylabel('H(p,1-p)')
绘制三元信源的熵
三元信源
三元信源的熵为
Matlab程序
p=linspace(eps,1-eps,100);
q=linspace(eps,1-eps,100);
[P,Q]=meshgrid(p,q);
P_Q=P+Q;
for n=1:100
for m=1:100
if P_Q(n,m)>=1
Q(n,m)=nan;
end
end
end
H=-P.*log2(P)-Q.*log2(Q)-(1-P-Q).*log2(1-P-Q);
mesh(P,Q,H)
title('三维熵函数的图形')