信息論與編碼理論第章信道容量習(xí)題解答

1、信息論與編碼理論1第3章信道容量信道容量習(xí)題解答習(xí)題解答31設(shè)二進(jìn)制對(duì)稱(chēng)信道的轉(zhuǎn)移概率矩陣為23131323??????解:(1)若，求和12()34()14PaPa??()()(|)(|)HXHYHXYHYX。()IXYii2i=13311H(X)=p(a)logp(a)log()log()0.8113()4444bit???????符號(hào)111121221212222jjj=132117p(b)=p(a)p(b|a)p(a)p(b|a

2、)=43431231125p(b)=p(a)p(b|a)p(a)p(b|a)=4343127755H(Y)=p(b)log(b)=log()log()0.9799()12121212bit?????????????符號(hào)22ijjijijiH(Y|X)=p(ab)logp(b|a)p(b|a)logp(b|a)2211log()log()0.9183()3333ijjbit???????????符號(hào)I(XY)=H(Y)H(Y|X)=0.9

3、7990.91830.0616()bit???符號(hào)H(X|Y)=H(X)I(XY)=0.81130.06160.7497(bit???符號(hào))(2)求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布。二進(jìn)制對(duì)稱(chēng)信息的信道容量H(P)=plog(p)(1p)log(1p)1122C=1H(P)=1log()log()=0.0817(bit)3333與BSC信道達(dá)到信道容量時(shí)，輸入為等概率分布，即：0.5，0.5注意單位信息論與編碼理論3輸入

4、為等概率分布時(shí)可達(dá)到信道容量，此時(shí)信道容量bit符號(hào)輸入最佳概率分布：p(x)C=maxH(X)=log(2)=11122??????33設(shè)4元?jiǎng)h除信道的輸入量，輸出量，轉(zhuǎn)移1234X?1234YE?概率為其中(|)1(|)1ε000ε01ε00εP=001ε0ε0001εε1ε000ε01ε00εp1=p2=001ε0ε0001εεPYiXiPYEXi??????????????????????????????????????????

5、???1234i?1）該信道是對(duì)稱(chēng)DMC信道嗎？2）計(jì)算該信道的信道容量；3）比較該信道與兩個(gè)獨(dú)立并聯(lián)的二元?jiǎng)h除信道的信道容量。（1）本通信過(guò)程的轉(zhuǎn)移概率分布如下所示：可以分解為兩個(gè)矩陣：1ε000ε01ε00εP=001ε0ε0001εε????????????1ε000ε01ε00εp1=p2=001ε0ε0001εε????????????????????????可以看出該信道不是對(duì)稱(chēng)DMC信道，它是準(zhǔn)對(duì)稱(chēng)DMC信道。（2）該信道