信息論與編碼理論(第二版)（簡體書）

信息論和編碼理論是研究信息傳輸和信息處理的基礎理論。信息論對實際通信系統和通信網絡的設計已經產生了深刻的影響，通信領域工程師在信息論方面的理論基礎對其事業的發展有重要的作用。《信息論與編碼理論（第2版）》總結了西安電子科技大學自1960年創辦信息論專業以來，特別是近十年來為通信工程、電子信息工程、信息工程、信息安全等專業的本科生和信息與通信工程、密碼學等方向的研究生開設信息論和編碼理論課程的經驗。書中圍繞通信系統和通信網絡的構建需求闡述信息論的理論思想，較詳細地討論了信息論中信息量的定義，各類編碼定理及其證明的基本思想，對於信息論中發展的若干重要課題（如率失真理論、多用戶信息論、逼近Shannon極限的信道編碼）都做了專題討論.同時給出了這一領域近期發展的近況和重要的參考文獻。這對於需要獲得信息論基本知識的有關專業學生和在這些領域從事研究、開發工作的工程技術人員都將是有益的。
《信息論與編碼理論（第2版）》可作為通信工程、電子信息工程、信息工程、信息安全等專業高年級本科生和研究生的教材。在給高年級本科生講授時，可以只講一些基本內容。書中標有*號的章節主要供研究生閱讀，各章後面都附有一些難易程度不等的習題，可根據需要選用。書末附有較詳盡的參考文獻，可供閱讀時參考。

王育民，1936年2月生於北京，1959年7月畢業于解放軍西安軍事電信工程學院，1979-1981年赴美圍夏威夷大學電機工程系做訪問學者，研究信息論和編碼理論。現為西安電子科技大學教授、博士生導師，中山大學兼職教授、兼職博士生導師，長期從事通信、信息論、編碼、密碼和信息安全的教學和科研工作，曾任西安電子科技大學校學報編委會主任、信息論教研室主任等職。現為中國電子學會和中國通信學會會士、中國密碼學會（籌）理事、中國電子學會信息論學會委員、中國自然基金研究會會員、JEEE高級會員。曾任全同高等學校通信和信息工程專業教學指導委員會主任（1996-2000），陝西電子學會第6屬副理事長，學術委員會主任。
合寫著作有《偽隨機序列及其應用》、《信息與編碼理論》、《保密學——基礎與應用》、《通信網的安全——理論與技術》、《電子商務技術與應用》等。其中王育民教授擔任主編的《通信網的安全——理論與技術》獲得2002年全國普通高等學校優秀教材一等獎；《保密學——基礎和應川》1996年獲得第三屆全國工科電子類專業優秀教材一等獎，在國內外學術刊物和會議上發表論文200餘篇。

王育民等編著的《信息論與編碼理論（第2版）》是教育部高等學校電子電氣基礎課程教學指導分委員會推薦教材。在2005年出版的本書第一版的基礎上，根據近年來學校本科生和研究生教學的實際情況，我們對教材進行了一些修訂，加強了典型序列等概念在編碼定理證明中的介紹，去掉了一些比較煩瑣的定理推導，更加突出信息論的主要理論思想。具體而言，在第2章增加了相對熵和信息不等式的相關內容，對一些定理的證明也更加簡潔；在第3章的3．5節明確了熵率的定義和性質；對第4、5章進行了修訂，在第9章增加了率失真編碼正定理的證明；在第10章利用典型序列對幾個多用戶信息論定理證明進行了修改，并且增加了中繼信道的相關內容。由于本書主要定位是介紹shannon信息論的基本定理，對于近年來快速發展的多用戶信息論、NIMO等無線通信新技術在相關章節小結中給出了一些重要的參考文獻，使讀者可以在本書基本理論的基礎上對相關文獻進行研讀。

第1章引論
1.1通信系統模型
1.2Shannon信息論的中心問題
1.3Shannon信息論的局限性
1.4信息的義性

第2章信息量和熵
2.1離散變量的非平均信息量
2.1.1非平均互信息量
2.1.2條件互信息與聯合事件的互信息量
2.1.3離散變量的非平均自信息量
2.2離散集的平均自信息量——熵
2.2.1熵和條件熵
2.2.2熵的性質
2.2.3相對墒和條件相對熵
2.3熵的唯一性定理
2.4離散集的平均互信息量
2.5信息不等式
2.5.1凸函數及其性質
2.5.2K-T條件
2.5.3信息不等式
2.6相對熵、熵和互信息量的凸性
2.6.1相對熵和熵的凸性
2.6.2互信息量的凸性
2.7連續隨機變量的互信息量和微分熵
2.7.1連續隨機變量的互信息量
2.7.2連續隨機變量的熵
2.7.3微分熵的極大化
2.8隨機過程的信息量和熵
小結
習題

第3章信源編碼——離散信源無失真編碼
3.1信源及其分類
3.2離散無記憶信源的等長編碼
3.3離散無記憶信源的不等長編碼
3.4最佳不等長編碼
3.4.1Huffman編碼
3.4.2算術編碼
3.4.3LZ編碼
3.5平穩源編碼
3.6馬爾可犬源
小結
習題

第4章信道及其容量
4.1信道分類
4.2離散無記憶信道
4.2.1有關DMC的容量定理
4.2.2對稱DMC容量的計算
4.2.3一般DMC容量的計算
4.3離散無記憶信道容量的迭代算法
4.3.1交替優化
4.3.2信道容量算法
4.4離散有記憶信道
4.5信道的組合
4.6時間離散的無記憶連續信道
4.6.1可加噪聲信道
4.6.2平均功率受限可加噪聲信道
4.63平行可加高斯噪聲信道
4.7波形信道
小結
習題

第S章信道編碼定理
5.1信道編碼和譯碼
5.1.1信道編碼
5.1.2譯碼準則
5.1.3離散序列的譯碼
5.1.4連續序列的譯碼
5.2聯合典型序列
5.3信道編碼定理
5.4錯誤概率上限
5.41並集限
5.4.2Bhattacharyya（巴塔恰亞）限
5.4.3Callager（加拉格）限
5.4.4隨機碼集合平均錯誤概率上限
5.4.5DMC的譯碼錯誤概率上限
5.4.6時間離散連續信道錯誤概率上限
5.5等能量正交編碼信號
小結
習題


第6章線性分組碼
6.1Galois域
6.11域運算
6.1.2GF（pm）的構造
6.1.3有限域的特徵和元素的級
6.14最小多項式
6.2線性分組碼
6.3線性分組碼的生成矩陣和校驗矩陣
6.3.1生成矩陣
6.3.2枝驗矩陣
6.3.3碼的擴展和縮短
6.4一些特殊的線性分組碼
6.4.1Hamming（漢明）碼
6.4.2Hadamard碼
6.4.3Golay碼
6.5伴隨式和最小漢明距離譯碼
6.5.1分組碼的標準陣譯碼
6.5.2最小距離與糾錯能力
6.6循環碼
6.6.1循環碼的數學描述
6.62循環碼的譯碼
6.7BCH碼
6.7.1BCH碼的定義和性質
6.7.2BCH碼的譯碼
6.8Reed-Solomon碼
6.9分組碼的性能限
6.10線性分組碼的性能限
小結
習題

第7章卷積碼
7.1卷積碼的基本概念
7.2Viterbi譯碼
7.3序列譯碼
7.4卷積碼集合平均錯誤概率限
7.5級聯碼
小結
習題

第8章接近Shannon極限的編碼
8.1Turbo碼的構造
8.1.1遞歸系統卷積碼（RSC）
8.1.2Turbo碼的距離譜
8.1.3Turbo碼交織器的設計
8.2Turbo碼的譯碼
8.2.1APP譯碼器
8.2.2MAP譯碼算法
8.2.3SOVA譯碼算法
8.2.4Turbo碼的迭代譯碼特性
8.3Turbo碼的性能限
……
第9章信源編碼——無記憶信源的有失真編碼
第10章多用戶信息論
參考文獻

異字頭條件碼可通過圖3.3.1所示的樹圖構成。對于D元樹圖（圖3.3.1中D=3），從每個節點出發可引出D個分支。最頂部的起始點稱做樹根，自根部經過一個分支到達的D個節點稱做一級節點。二級節點可能個數為D2，一般r級節點有D′個。若將從每個節點出發的D個分支分別標以0，1，…，D—1，則每個r級節點需用r個D元數字表示。若指定某個r級節點表示一個消息，則該節點就不再延伸，相應的碼字即為從樹根到此端點的分支標號序列，其長度為r，此節點就稱做端節點。這樣得到的碼就能保證異字頭條件。如果有K個消息，就在碼樹上選擇K個端節點，相應的D元表示即為碼字。圖3.3.1中信源消息為a1，a2，…，a9，相應的三元碼字分別為0，10，11，12，20，21，220，221和222。這樣編出的碼就稱做樹碼，相應的圖稱做碼樹。若一個碼樹的各分支都延伸到最高級端點（共有DnK個碼字），就稱它為滿樹，否則為非滿樹。若消息占滿了所有的端節點，即樹上每一個中間節點都有JD個分支，稱之為全樹。圖3.3.1就是一個全樹。D元全樹的端節點數目為D+m（D—1），m為非負整數。如果消息的個數具有D+m（D—1）的形式，就可構成一個D元全樹。
這里希望選出的碼集合的平均長度n最小。為此希望碼序列中任一符號載荷最大可能的信息量，即10g D。為了做到這一點，要使從每個節點出發的D種可能的分支出現的概率近于相等。這將給出一種近于最佳的編碼方法。今以表3.3.2說明。設信源U的9個消息a1，a2，…，a9的概率分別為1／3，1／9，1／9，1／9，1／9，1／9，1／27，1／27，1／27，已按概率大小次序排列。為了使平均碼長盡可能地短，這里將消息劃分成近于等概的3個子集{a1}，{a2，a3，a4}，{a5，a6，a7，a8，a9}，分別與碼樹的一級節點對應。由于第一個子集只有一個元素，即a，，所以此節點不必再延伸，相應于a1的碼字就是0。對于第二個子集，仍按同樣方法進行，劃分成3個小子集，各子集概率盡可能相等。依此類推，結果如表3.3.2所示。得到的碼的平均碼長為16／9。