最新第三章-信道容量-习题答案.docx

《最新第三章-信道容量-习题答案.docx》由会员分享，可在线阅读，更多相关《最新第三章-信道容量-习题答案.docx（18页珍藏版）》请在第一文库网上搜索。

1、3.1设信源X=X1通过一干扰信道接收符号为Y=y1,y2),信道转移矩P(X)J0.60.45-61-41-63-4(D信源彳中事件M和事件Xz分别包含的自信息量；(2)收到消息Jd.0后，获得的关于的信息量;(3)信源彳和信宿Z的信息熔；(4)信道疑义度/az以和噪声熠/(沙川；(5)接收到信息y后获得的平均互信息量。解：D/(x1)=-Iog2P(XI)=-1og206=0.737bitI(x2)=-Iog2p(x2)=-Iog20.4=1.322bitP(M)=MXI)P(/x)+P(X，)p(%/招)=06X=+0.4X1=0.66413p(y2)=Pa1)P“2/占)+p(%2)p

2、(丁2/%2)=6X2+04XT=0.464zz、1p(y1x)15/6n.Z(x1;y1)=Iog211=Iog2=0.474bit(y)0.6Z(Xpy2)=Iog2-7-=1oS2TTT=-1263bitp(y2)041, 、1p(y2)11/4I。/人/。2；M)=IOg2T-=Ig2XT=T263bitP(M).61t、1My2/居)13/4Ann_i.I(x2y2)=1og2r；2=1og2=0.907bitMy2)04H(X)=一Zp(xj)1ogp(xi)=-(0.61og0.6+0.41og0.4)1og210=0.971bit/symbo1H(Y)=-Zp(y,)1ogMy

3、j)=-(61og0.6+0.41og0.4)1og210=0.971bit/symbo1J(Y/X)=-ZZp3)p(匕/xi)1ogp(yj/xi)55111133=-(0.61og+0.61og+0.41og+0.41og)1og21066664444=0.715bitIsymbo1H(X)+H(YX)=H(Y)+H(XY).H(X/Y)=H(X)+H(YX)-H(Y)=0.971+0.715-0.971=0.715bit/symbo1I(XY)=H(X)-H(XZY)=0.971-0.715=0.256bit/symbo1213.2设二元对称信道的传递矩阵为JI_33_(1)若P(O)

4、=3/4,P(I)=1/4,求H(X),H(XY)f和/(X;Y八(2)求该信道的信道容量及其达到信道容量时的输入概率分布；解：D3311H(X)-ZP(Xj=一(11og21og2)=0.811bit!symbo1H(YX)=-p)p(y,)igp(yjjiJz32123I111I111212x1S=Ig-Ig-+-Ig-+Ig)1og91()433433433433-=0.918bit/symbo13211P(M)=P(X1M)P(My1)=(再)p(y)+P(X,)p(y1/)=-+-=0.583343433112p(y2)=P(X12)+Mr2丫2)=P(X1)P(%/为)+)p(/)

5、=ZX3+1X=4167H(Y)=Yp(yj)=-(0.5833Iog20.5833+0.4167Iog20.4167)=0.980bit/symbo1jI(XY)=H(X)-H(X/Y)=H(Y)-H(Y/X)H(X/Y)=H(X)-H(Y)+H(YIX)=0.811-0.980+0.918=0.749bit/symbo1/(X;Y)=H(X)-H(X/Y)=0.811-0.749=0.062bit!symbo12)C=max/(X;/)=1og2m-Hmi1og22+Ig+Ig1og210=0.082bit!symbo1PG)=；3.3设有一批电阻，按阻值分70%是2K,30舟是5KO；按

6、瓦分64%是0.125W,其余是0.25Wo现已知2KQ阻值的电阻中80%是0.125W,问通过测量阻值可以得到的关于瓦数的平均信息量是多少？解：对本题建立数学模型如下：-X阻值_x1=2Kx2=5KP(X)0.70.3p(y1x1)=0.8,()/XI)=0.2小数-P(Y)M=I/80.64%=1/40.36求：/（x；y）以下是求解过程:p(x1M)=p(x1)p(y1x1)=0.70.8=0.56P(MJ2)=P()P(%/XI)=O7x02=0.14p(M)=MX1yJ+p(%2%)(工2%)=p(M)-P(XIy)=064-0.56=0.08,(力)=(再丫2)+。(%).,.p(

7、x2y2)=p(%)-P(X1)=0.36-0.14=0.22H(X)=-Zp(xj)=-(.71og20.7+0.31og20.3)=0.881hit!symbo1iH(Y)=-p(y.)=-(.641og20.64+0.361og20.36)=0.943bit/symbo1jH(Xy)=-ZZp(xi力)1ogP(Xiyj)iJ=-(.56X1og20.56+0.14Iog20.14+0.081og20.08+0.221og20.22)=1.638bit!symbo1/(X;y)=H(X)+H(Y)-H(XY)0.881+0.943-1.638=0.186bit!symbo13.4若尤y,

8、Z是三个随机变量，试证明(1) KX;YZ)=1(X;Y)+I(X;Z/Y)=I(X;Z)+1(X;Y/Z八证明：/(XENZZpcwM彗FijkPxi)P(xQ1ogIjkP(XjyjZk)P(XJy)P(Xi)P(XJyj)PQJyjZk)p。Jyj)P(xQ1ogijkp(yy),vV,V(w(七力)1ogPxi)/jk=z（x；y）+z（x；z/r）/(X;YZ)=ZZZp(xiyjzk)1ogijkp(XiyjZpiOgP(Xi%zQP(Xi)P(XJyjZk)P(XJZk)P(Xi)P(XJZk)p(须小)ig卓浮+ZZZp(U-)bg嘿察ijkPXi)ijkPxizkf/(x；z

9、)+/(x；r/z)(2) 1(X;Y/Z)=1(Y;X/Z)=H(XZ)-H(XYZ)；证明：MXVZ)=毕Np(%yjZk)m*P(XMZk)IogijkP(XjyjZk)P(yjZQP(XjZk)P(YjZ1i)=PGa)1ogPSA)TJP(Xj2)p(4)p(zD=P(XiyjZk)1ogGz)TT,7p(xizk)p(yjzk)=P*M4)1og-2(生匕&),7P(XiZk)P(yjzk)=I(YXZ)/(xvz)=zzzp*j3)bgp(y”)ijkP(XJZk)=P(XiXZDk)gP(Xj/Z&)+ZZZP(Xiyjz1c)1ogP(XJyjzk)ijkijk=-ZP(Wy

10、产D1ogP(Xi&)-(Xyz)kJ=1P(Xizjt)-1og2e=OI(XYZ)0当P(XJZD_=0时等式成立P(XJy产k)=P(XJZk)=P(XJyjZk)=P(yjk)p(xizk)=p(xi/yjzk)p(yjzk)=P(Zk)P(yjzk)p(jZk)=p(iyjzk)=P(yJZk)P(XizQ=P(XiyjZIp(zQ=P(yj/Zk)P(XJZk)=p(xiyj/Zk)所以等式成立的条件是X,Y,Z是马氏链3. 5若三个随机变量，有如下关系：Z=X+Y,其中彳和Z相互独立，试证明:XJZ)zJZ)z)z(2(3(5解nI(X；Z)H(Z)-H(Y);/(XY;Z)=H(Z八KX;YZ)=H(X);I(Y;Z/X)=H(Y);I(X;Y/Z)=H(XZ)=H(YZ)o-Z=X+Y/、/、p(%)(ZAFGyp(zkxi)=p(zk-Xi)=O(Zk-Xi)/(Z/X)=-ZZP(XiZ*)1og2P(Zk1Xi)ik=-P(Xi)EP(Z1JXf)1og2p(zjtXi)i1k_=-pUf)p(yy)ig2p(y7)i1j.=H(Y)/(X;Z)=H(Z)-H(ZIX)=H(Z)-H(Y)2)P(ZIjXiyj)=_=0I(XYZ)=H(YZZ)-H(YZXZ)=H(YfZ)-O=H(YZ)3.6有一个二元对称信道，