文档介绍：该【信息论与编码理论课后答案 】是由【青山代下】上传分享，文档一共【18】页，该文档可以免费在线阅读，需要了解更多关于【信息论与编码理论课后答案 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:..信息论与编码理论课后答案【篇一:《信息论与编码》课后****题答案】式、含义和效用三个方面的因素。2、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。3、按照信息的性质,可以把信息分成语法信息、语义信息和语用信息。4、按照信息的地位,可以把信息分成客观信息和主观信息。5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。6、信息的是建立信息论的基础。7、8、是香农信息论最基本最重要的概念。9、事物的不确定度是用时间统计发生概率的对数来描述的。10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用随机矢量描述。11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为其发生概率对数的负值。12、自信息量的单位一般有比特、奈特和哈特。13、必然事件的自信息是。14、不可能事件的自信息量是15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量趋于变小。17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的熵的。limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵,。19、对于n元m阶马尔可夫信源,其状态空间共有m个不同的状态。20、一维连续随即变量x在[a,b]。1log22?ep21、平均功率为p的高斯分布的连续信源,其信源熵,hc(x)=2。:..22、对于限峰值功率的n维连续信源,当概率密度均匀分布时连续信源熵具有最大值。23、对于限平均功率的一维连续信源,当概率密度24、对于均值为0,平均功率受限的连续信源,信源的冗余度决定于平均功率的限定值p和信源的熵功率p25、若一离散无记忆信源的信源熵h(x),对信源进行等长的无失真二进制编码,则编码长度至少为。2728、同时掷两个正常的骰子,各面呈现的概率都为1/6,则“3和5同时出现”这件事的自信息量是?mn?ki?11?mp(x)?em29、若一维随即变量x的取值区间是[0,∞],其概率密度函数为,其中:x?0,m是x的数学2期望,则x的信源熵c。30、一副充分洗乱的***牌(52张),从中任意抽取1张,然后放回,若把这一过程看作离散无记忆信源,则其信2源熵为。31信道。32、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为33、具有一一对应关系的无噪信道的信道容量。34、强对称信道的信道容量。35、对称信道的信道容量。36、对于离散无记忆信道和信源的n次扩展,=。xh(x)?logmelog5237、对于n个对立并联信道,=。38、多用户信道的信道容量用多维空间的一个区域的界限来表示。39、多用户信道可以分成几种最基本的类型:多址接入信道、广播信道和相关信源信道。40、广播信道是只有一个输入端和多个输出端的信道。41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时,此信道称为加性连续信道。?ck?1nkp1log2(1?x)2pn。42、高斯加性信道的信道容量c=43、信道编码定理是一个理想编码的存在性定理,即:信道无失真传递信息的条件是信息率小于信道容量。?1/21/20??0?01??代表的信道的信道容量。44、信道矩阵?10??10????01??代表的信道的信道容量。45、信道矩阵?:..46、高斯加性噪声信道中,信道带宽3khz,信噪比为7,则该信道的最大信息传输速率ct=。47、对于具有归并性能的无燥信道,达到信道容量的条件是)=1/m)。48、信道矩阵49、信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。50、求解率失真函数的问题,即:在给定失真度的情况下,求信息率的51、信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就量就越小。52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率也越小。53、单符号的失真度或失真函数d(xi,yj)表示信源发出一个符号xi,信宿再现yj所引起的误差或失真。?10??01???代表的信道,若每分钟可以传递6*105个符号,则该信道的最大信息传输速率ct。?0i?j?1i?j。54、汉明失真函数d(x,y)=?ij55、平方误差失真函数d(xi,yj)256、平均失真度定义为失真函数的数学期望,即d(xi,yj)在x和y的联合概率空间p(xy)中的统计平均值。57、如果信源和失真度一定,则平均失真度是信道统计特性的函数。58、如果规定平均失真度d不能超过某一限定的值d,即:d?d。我们把d?d称为保真度准则。59、离散无记忆n次扩展信源通过离散无记忆n次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的n倍。ji60、试验信道的集合用p来表示,则p=61、信息率失真函数,简称为率失真函数,即:试验信道中的平均互信息量的。62、平均失真度的下限取0的条件是失真矩阵的64、率失真函数对允许的平均失真度是单调递减和连续的。65。66、当失真度大于平均失真度的上限时d时,率失真函数r(d)=0。?p(y/x):d?d;i?1,2,?,n,j?1,2,?,m?。inf67、连续信源x的率失真函数r(d)=:..2p(y/x)?pdi(x;y)。68、当d??时,高斯信源在均方差失真度下的信息率失真函数为69、保真度准则下的信源编码定理的条件是1?2log2r(d)?2d。1??x??0?0a???p(x)??1/21/2??a0??????,则该信源的dmax。70、某二元信源其失真矩阵d=?1??x??0?0a??p(x)???1/21/2??a0??????,则该信源的dmin。71、某二元信源其失真矩阵d=?1??x??0?0a??p(x)???1/21/2??a0??????,则该信源的r(d)=。72、某二元信源其失真矩阵d=?73、按照不同的编码目的,编码可以分为三类:分别是信源编码、信道编码和安全编码。74、信源编码的目的是:提高通信的有效性。75、一般情况下,信源编码可以分为76、连续信源或模拟信号的信源编码的理论基础是。77、在香农编码中,第i个码字的长度ki和p(xi)之间有?log2p(xi)?ki?1?log2p(xi)关系。x2x3x4x5x6x7x8??x??x1??p(x)??1/41/41/81/81/161/161/161/16????进行二进制费诺编码,其编78、对信源?码效率为1。79、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时,为使平均码长最短,应增加0的消息。80、对于香农编码、费诺编码和哈夫曼编码,编码方法惟一的是香农编码。81、对于二元序列0011100000011111001111000001111111,其相应的游程序列是。1。82、设无记忆二元序列中,“0”和“1”的概率分别是p0和p1,则“0”游程长度l(0)的概率为83、游程序列的熵原二元序列的熵。85、在实际的游程编码过程中,对长码一般采取处理的方法。86、“0”游程和“1”游程可以分别进行哈夫曼编码,两个码表中的码字可以重复,但87、在多符号的消息序列中,大量的重复出现的,只起占时作用的符号称为冗余位。:..88、“冗余变换”即:将一个冗余序列转换成一个二元序列和一个缩短了的多元序列。89、l-d编码是一种的方法。90、l-d编码适合于冗余位91、信道编码的最终目的是92、狭义的信道编码即:检、纠错编码。93、bsc信道即:无记忆二进制对称信道。94、n位重复码的编码效率是。95、等重码可以检验全部的奇数位错和部分的偶数位错。p[l(0)]?p0l(0)?1p96、任意两个码字之间的最小汉明距离有称为码的最小距dmin,则dmin=mind(c,c)c?c。97、若纠错码的最小距离为dmin,则可以纠正任意小于等于t=98、若检错码的最小距离为dmin,则可以检测出任意小于等于个差错。99、线性分组码是同时具有的纠错码。100、循环码即是采用三、判断(每题1分)(50道)1、必然事件和不可能事件的自信息量都是0。错?dmin?1??2???个差错。i的单调递减函数。对2、自信息量是3、单符号离散信源的自信息和信源熵都具有非负性。对4、单符号离散信源的自信息和信源熵都是一个确定值。错5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对6、自信息量、条件自信息量和联合自信息量之间有如下关系:ijijijij7、自信息量、条件自信息量和互信息量之间有如下关系:p(x)i(xy)?i(x)?i(y/x)?i(y)?i(x/y)对ijiijjji对8、当随即变量x和y相互独立时,条件熵等于信源熵。对9、当随即变量x和y相互独立时,i(x;y)=h(x)。错10、信源熵具有严格的下凸性。错11、平均互信息量i(x;y)对于信源概率分布p(xi)和条件概率分布p(yj/xi)都具有凸函数性。对:..12、m阶马尔可夫信源和消息长度为m的有记忆信源,其所含符号的依赖关系相同。错13、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。对14、n维统计独立均匀分布连续信源的熵是n维区域体积的对数。对15、一维高斯分布的连续信源,其信源熵只与其均值和方差有关。错16、连续信源和离散信源的熵都具有非负性。错17、连续信源和离散信源都具有可加性。对18、连续信源和离散信源的平均互信息都具有非负性。对19、定长编码的效率一般小于不定长编码的效率。对i(x;y)?i(x)?i(x/y)?i(y)?i(y/x)20、若对一离散信源(熵为h(x))进行二进制无失真编码,设定长码子长度为k,变长码子平均长度为般kk。错21、信道容量c是i(x;y)关于p(xi)的条件极大值。对22、离散无噪信道的信道容量等于log2n,其中n是信源x的消息个数。错k,一23、对于准对称信道,当24、多用户信道的信道容量不能用一个数来代表。对25、多用户信道的信道容量不能用一个数来代表,但信道的信息率可以用一个数来表示。错26、高斯加性信道的信道容量只与信道的信噪有关。对27、信道无失真传递信息的条件是信息率小于信道容量。对28、最大信息传输速率,即:选择某一信源的概率分布(p(xi)),使信道所能传送的信息率的最大值。错29、对于具有归并性能的无燥信道,当信源等概率分布时(p(xi)=1/n),达到信道容量。错30、求解率失真函数的问题,即:在给定失真度的情况下,求信息率的极小值。对31、信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息量就越小。错32、当p(xi)、p(yj/xi)和d(xi,yj)给定后,平均失真度是一个随即变量。错p(yj)?1m时,可达到信道容量c。错33、率失真函数对允许的平均失真度具有上凸性。对:..34、率失真函数没有最大值。错35、率失真函数的最小值是0。对36、率失真函数的值与信源的输入概率无关。错37、信源编码是提高通信有效性为目的的编码。对38、信源编码通常是通过压缩信源的冗余度来实现的。对39、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。错40、一般情况下,哈夫曼编码的效率大于香农编码和费诺编码。对41、在编m(m2)进制的哈夫曼码时,要考虑是否需要增加概率为0的码字,以使平均码长最短。对42、游程序列的熵(“0”游程序列的熵与“1”游程序列的熵的和)大于等于原二元序列的熵。错43、在游程编码过程中,“0”游程和“1”游程应分别编码,因此,它们的码字不能重复。错44、l-d编码适合于冗余位较多和较少的情况,否则,不但不能压缩码率,反而使其扩张。对45、狭义的信道编码既是指:信道的检、纠错编码。对46、对于bsc信道,信道编码应当是一对一的编码,因此,消息m的长度等于码字c的长度。错47、等重码和奇(偶)校验码都可以检出全部的奇数位错。对48、汉明码是一种线性分组码。对49、循环码也是一种线性分组码。对50、卷积码是一种特殊的线性分组码。错的信源中,信源输出由来度量。、可靠和保密,必须首先编码,然后_____加密____编码,再______信道_____编码,最后送入信道。,也就是有名的香农公式是当归一化信道容量c/w趋近于零时,也即信道完全丧失了通信能力,此时eb/n0为-?wlog(1?snr);db,我们将它称作香农限,是一切编码方式所能达到的理论极限。,密钥熵h(k)就越小,其密文中含有的关于明文的信息量i(m;c)就越大。=7的循环码g(x)?:..h(x)x4?x2?x?1,={0,1},输出符号表为y={0,1}。输入信号的概率分布为p=(1/2,1/2),失真函数为d(0,0)=d(1,1)=0,d(0,1)=2,d(1,0)=1,则dmin=0,r(dmin)=相应的编码器转移概率矩阵[p(y/x)]=??10??10?;dmax=,r(dmax)=[p(y/x)]=???。1001????(e,n)=(3,55),p?5,q?11,则?(n)?,他的秘密密钥(d,n)=若用户b向用户a发送m=2的加密消息,则该加密后的消息为8。。(?)。(?),,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。,当它是正态分布时具有最大熵。(?)。(?),这种译码方法叫做最佳译码。(?)【篇二:信息论与编码陈运主编答案完整版】txt>、八进制脉冲所含信息量是二进制脉冲的多少倍?解:四进制脉冲可以表示4个不同的消息,例如:{0,1,2,3}八进制脉冲可以表示8个不同的消息,例如:{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息,例如:{0,1}假设每个消息的发出都是等概率的,则:四进制脉冲的平均信息量hx(1)=logn=log4=2bitsymbol/八进制脉冲的平均信息量hx(2)=logn=log8=3bitsymbol/二进制脉冲的平均信息量hx(0)=logn=log2=1bitsymbol/所以:四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。:..%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?解:设随机变量x代表女孩子学历xp(x)x1(是大学生)x2(不是大学生)(身高160cm)(身高160cm)(y)已知:在女大学生中有75%是身高160厘米以上的即:py(1/x1)=:身高160厘米以上的某女孩是大学生的信息量pxpy()(/x)(1/y1)=?logpx(1/y1)=?log=?py(1)=:(含52张牌),试问(1)任一特定排列所给出的信息量是多少?(2)若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?解:(1)52张牌共有52!种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:px(i)=ix(i)=?logpx(i)=log52!=(2)52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:413px(i)=5213413:..c5213==???px(x)???=???x3/8?x2=1x3=2x4=3?,其发出的信息为11/41/41/8?(202120130213001203210110321010021032011223210),求(1)此消息的自信息量是多少?(2)此消息中平均每符号携带的信息量是多少?解:(1)此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:?4??8?此消息的信息量是:i=?logp=(2)此消息中平均每符号携带的信息量是:in/==,男性中红绿色盲的发病率为7%,%,如果你问一位男士:你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量是多少?解:男士:px(y)=7%ix(y)=?logpx(y)=?=(n)=93%ix(n)=?logpx(n)=?=())px()logpx()(:hx(i)px()logpx()?x??=1x2x3x4x5:..()/?px()???????h(x)log6不满足信源熵的极值性。解:hxipxpx=?(+++++)=()log62=。:,并说明当x1,x2,x3是马氏链时等式成立。证明:hx(3/xx12)?hx(3/x1)=?∑∑∑pxxx(i1i2i3)logpx(i3/xxi1i2)+∑∑pxx(i1i3)logpx(i3/xi1)i1i2i3i1i3=?∑∑∑pxxx(i1i2i3)logpx(i3/xxi1i2)+∑∑∑pxxx(i1i2i3)logpx(i3/xi1)i1i2i3i1i2i3px(i3/xi1)=∑∑∑i1i2i3pxxx(i1i2i3)logpx(i3/xxi1i2):..i2i3pxxx(i1i2i3)???px(i3/xxi1i2)??=??∑∑∑pxx(?i1?i2i3i1i2)(pxi3/xi1)?∑∑∑pxxx(i1i2i3)??log2ei1i2i3????=??∑∑pxx(i1i2)?∑px(i3/xi1)??1??log2e?i1=0i2?i3??hx(3/xx12)≤hx(3/x1)i3i110时等式等等当?=px(i3/xxi12i)?px(i3/xi1)=px(i3/xxi12i)?pxx(i12i)(pxi3/xi1)=px(i3/xxi12i)(pxxi12i)?px(i1)(pxi2/xi1)(pxi3/xi1)=pxxx(i123i?px(i2/xi1)(pxi3/xi1)=pxx(i23i/xi1)∴等式等等的等等是x1,x2,x3是马氏链_i):h(x1x2。。。xn)≤h(x1)+h(x2)+…+h(xn)。证明:hxx(1/xx1ix(2...xn)=hx(1)+hx(2/x1)+hx(32)+...+hx(n/xx12...xn?1)2;x1)≥0?hx(22:..2/x1)ix(3;xx13/xx12)≥0?hx(3)≥hx()...ix(n;xx12...xn?1)≥0?hx(n)≥hx(n/xx12...xn?1)hxx(12...xn)≤hx(1)+hx(2)+hx(3)++...hx(n),它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号,均按p(0)=,p(1)=。(1)试问这个信源是否是平稳的?(2)试计算h(x2),h(x3/x1x2)及h∞;(3)试计算h(x4)并写出x4信源中可能有的所有符号。(1)这个信源是平稳无记忆信源。因为有这些词语:“它在任意时间....而且不论以前发生过什么符号...........……”(2)3/xx12)=hx(3)=?∑px(i)logpx(i)=?(+)=∞=limhx(n/xx12...xn?1)=hx(n)=?∞(3)。信源x的符号集为{0,1,2}。求平稳后信源的概率分布;(2)求信源的熵h∞。:..(1)?pe(1)=pepe(1)(1/e1)+pe(2)(pe1/e2)??pe(2)=pe(2)(pe2/e2)+pe(3)(pe2/e3)??pe(3)=pe(3)(pe3/e3)+pepe(1)(3/e1)?pe(1)=ppe?(1)+ppe?(2)??(1)【篇三:信息论与编码理论第二章****题答案(王育民)】>,log3,?1??3344?,可以计算一秒钟其信息量平均为10log3?5log3?15log3?:(a)骰子a和b,掷出7点有以下6种可能:a=1,b=6;a=2,b=5;a=3,b=4;a=4,b=3;a=5,b=2;a=6,b=1概率为6/36=1/6,所以信息量-(b)骰子a和b,掷出12点只有1种可能:a=6,b=6概率为1/36,所以信息量-log(1/36)=2+log9≈:出现各点数的概率和信息量:1点:1/21,log21≈;2点:2/21,log21-1≈;3点:1/7,log7≈;4点:4/21,log21-2≈;5点::..log(21/5);6点:2/7,log(7/2)≈::x=1:考生被录取;x=0:考生未被录取;y=1:考生来自本市;y=0:考生来自外地;z=1:考生学过英语;z=0:考生未学过英语p(x=1)=1/4,p(x=0)=3/4;p(y=1/x=1)=1/2;p(y=1/x=0)=1/10;p(z=1/y=1)=1,p(z=1/x=0,y=0)=,p(z=1/x=1,y=0)=,p(z=1/y=0)=(a)p(x=0,y=1)=p(y=1/x=0)p(x=0)=,p(x=1,y=1)=p(y=1/x=1)p(x=1)=(y=1)=p(x=0,y=1)+p(x=1,y=1)=(x=0/y=1)=p(x=0,y=1)/p(y=1)=,p(x=1/y=1)=p(x=1,y=1)/p(y=1)=(x;y=1)=?p(x/y?1)i(x;y?1)??p(x/y?1)logxxp(x/y?1)p(x)=p(x?0/y?1)logp(x?0/y?1)p(x?1/y?1)?p(x?1/y?1)logp(x?0)p(x?1)=()+()=(5/8)log5-1≈(b)由于p(z=1/y=1)=1,所以p(y=1,z=1/x=1)=p(y=1/x=1)=(y=1,z=1/x=0)=p(y=1/x=0)=(z=1/x=1)=p(z=1,y=1/x=1)+p(z=1,y=0/x=1)=+p(z=1/y=0,x=1)p(y=0/x=1)=+*=(z=1/x=0)=p(z=1,y=1/x=0)+p(z=1,y=0/x=0)=+p(z=1/y=0,x=0)p(y=0/x=0)=+*=(z=1,x=1)=p(z=1/x=1)*p(x=1)=*=(z=1,x=0)=p(z=1/x=0)*p(x=0)=*=(z=1)=p(z=1,x=1)+p(z=1,x=0)=(x=0/z=1)==69/104p(x=1/z=1)=35/104p(x/z?1)i(x;z=1)=?p(x/z?1)i(x;z?1)??p(x/z?1)logp(x)xx=p(x?0/z?1)logp(x?0/z?1)?p(x?1/z?1)logp(x?1/z?1)p(x?0)p(x?1)=(69/104)log(23/26)+(35/104)log(35/26)≈:..(c)h(x)=*log(1/)+*log(1/)=2-(3/4)log3=(y/x)=-p(x=1,y=1)logp(y=1/x=1)-p(x=1,y=0)logp(y=0/x=1)-p(x=0,y=1)logp(y=1/x=0)-p(x=0,y=0)logp(y=0/x=0)=-*-*-*-*=1/4+(3/40)log10-(27/40)log(9/10)≈(xy)=h(x)+h(y/x)=9/4+(3/4)log10-(21/10)log3=(x=0,y=0,z=0)=p(z=0/x=0,y=0)*p(x=0,y=0)=(1-)*(-)=(x=0,y=0,z=1)=p(z=1/x=0,y=0)*p(x=0,y=0)=*=(x=1,y=0,z=1)=p(z=1/x=1,y=0)*p(x=1,y=0)=*(-)=(x=1,y=0,z=0)=p(z=0/x=1,y=0)*p(x=1,y=0)=*=(x=1,y=1,z=1)=p(x=1,z=1)-p(x=1,y=0,z=1)=-=(x=1,y=1,z=0)=0p(x=0,y=1,z=0)=0p(x=0,y=1,z=1)=p(x=0,z=1)-p(x=0,y=0,z=1)=-=(xyz)=-*-*-*-*-*-*=(113/100)+(31/20)log10-(129/50)log3=+++++=(z/xy)=h(xyz)-h(xy)=-28/25+(4/5)log10-12/25log3=:a,b,c分别表示三个筛子掷的点数。x=a,y=a+b,z=a+b+c由于p(a+b+c/a+b)=p(c/a+b)=p(c)所以