信息論與編碼習題解答與實驗指導（簡體書）

本書是學習“信息論與編碼”課程的教輔用書，旨在為本科生和碩士研究生提供學習指導和幫助。全書共分9章，由習題解答和實驗指導兩大部分組成。第1~7章是習題解答，內容包括香農信息理論、信源壓縮編碼、有噪信道編碼和加密編碼等，習題題型豐富，包括選擇、填空、判斷和計算等類型。第8~9章是實驗指導，實驗內容豐富，每個實驗都給出了實驗目的、實驗要求、算法和參考程序。 本書可供高等院校信息、通信、電子等相關專業的教師、本科生和研究生等參考使用，也可供相關科技人員學習信息論時參考。

陳瑞，南京工程學院教授，江蘇省青藍工程中青年骨幹教師。1991年畢業於東南大學無線電技術基礎專業，獲學士學位；1996年畢業於東南大學自動控制理論與應用專業，獲碩士學位；2013年畢業於南京郵電大學信息與通信系統專業，獲博士學位；同年進入東南大學控制科學與工程博士後流動站工作並順利出站。1996至今在南京工程學院工作，長期致力於無線多媒體通信和視頻信息處理方面的研究工作。主持/參與國家自然科學基金、省部級科研項目多項，在SCI/EI期刊、國內核心刊物和國際會議上發表論文40多篇。主要承擔“計算機通信與網絡”“信息論與編碼”“微機原理及接口技術”及“多媒體通信”等課程的教學任務。近年來獲南京工程學院“優秀教師”等榮譽。

（1）通過演算習題，加深對理論和概念的理解，增強分析和解決問題的能力；通過實踐環節，直接地培養創新思維和動手能力。
（2）概念清晰，解題詳細，實驗典型，選擇的題目和實驗具有廣泛性和代表性，且題目和實驗的難度適中，有層次。
（3）習題題型多樣，包括選擇、填空、判斷和計算等類型。選擇、填空和判斷型客觀題的設計注重對基本概念的考察，計算題的設計注重對基本概念和靈活運用能力的考察。
（4）實驗內容豐富，包括10個基礎實驗和5個拓展實驗，可供讀者參考使用，每個實驗都給出了實驗目的、實驗要求、算法和參考程序。

隨著信息技術的發展，國內高等院校的通信工程、信息工程、電子科學、信息與計算機科學等專業普遍開設了“信息論與編碼”課程。“信息論與編碼”是一門理論性和實踐性很強的課程，需要扎實的數學基礎和實際的編程能力。為了透徹理解和掌握信息與編碼理論的基本概念、基本理論和分析方法，習題訓練是不可缺少的。通過做習題，加深對理論和概念的理解，增強分析和解決問題的能力。為了更好地調動學生對理論學習的興趣，需要通過實踐環節，更直接地培養創新思維和動手能力。為此，基於曹雪虹教授編寫的教材《信息論與編碼》（第3版），作者編著了這本配套教材《信息論與編碼——習題解答與實驗指導》。
本書共分9章，前7章均由知識點和習題詳解兩部分構成。每章的知識點是對各章節的基本概念、基本定理和計算公式的深入概括，以便讀者在解題時做到概念清晰，思路正確。習題詳解部分是針對教材中的各章習題所做的詳細解答，給出解題思路和推演過程，並在每題後面給出了該題所對應的知識點。為了更進一步幫助讀者厘清知識點，本書還編寫了對應相關知識點的選擇題、填空題、判斷題和名詞解釋等類型的題目。第8章和第9章是課程實驗，由基礎實驗和拓展實驗兩大部分構成。其中，基礎實驗部分編寫了10個實驗，囊括了信源熵的計算、信道容量的計算、信源編碼、信道編碼和加解密編碼等內容； 拓展實驗有5個，包括實際應用中的英文字符概率統計、圖像壓縮算法和卷積碼的編解碼等內容。讀者可以根據自己的學習需求，選擇本書中所需章節和題目。
本書第1章和第2章由芮雄麗老師編寫，第3~7章由陳瑞老師編寫，第8章和第9章由徐偉業老師編寫。
在本書的編寫過程中，參閱了國內外一些經典著作（參見本書的參考文獻），同時參考了國內知名大學
“信息論與編碼”課程的課後習題及解答，在此向有關作者表示感謝。另外，在本書的編寫過程中，得到了曹雪虹教授的大力支持，以及童瑩、王少東等老師的建議和幫助，在此也表示誠摯的謝意。
書中的不妥和錯誤之處，懇請廣大讀者予以批評指正。

作者2021年4月

第1章緒論

1.1知識點

1.1.1信息的概念

1.1.2信息論研究的物件、目的和內容

1.2習題詳解

1.2.1判斷題

1.2.2填空題

1.2.3問答題

第2章信源與信息熵

2.1知識點

2.1.1信息論中常用的概率公式

2.1.2信源的分類

2.1.3離散信源的自信息和信息熵

2.1.4聯合自信息量和聯合熵

2.1.5條件自信息量和條件熵

2.1.6互信息和平均互信息

2.1.7各種熵的關係

2.1.8多符號離散序列信源熵

2.1.9連續信源的微分熵和熵

2.1.10信源冗余度

2.2習題詳解

2.2.1選擇題

2.2.2判斷題

2.2.3填空題

2.2.4問答題

2.2.5計算題

第3章信道與信道容量

3.1知識點

3.1.1信道和信道的數學模型

3.1.2離散單符號信道及其容量

3.1.3離散序列信道及其容量

3.1.4連續信道及其容量

3.2習題詳解

3.2.1選擇題

3.2.2判斷題

3.2.3填空題

3.2.4名詞解釋

3.2.5問答題

3.2.6計算題

第4章信息率失真函數

4.1知識點

4.1.1信息率失真函數的定義

4.1.2信息率失真函數的性質

4.1.3信息率失真函數的計算

4.2習題詳解

4.2.1選擇題

4.2.2填空題

4.2.3判斷題

4.2.4計算題

第5章信源編碼

5.1知識點

5.1.1信源編碼

5.1.2無失真信源編碼

5.1.3無失真信源編碼方法

5.1.4限失真信源編碼

5.1.5限失真信源編碼方法

5.2習題詳解

5.2.1選擇題

5.2.2名詞解釋

5.2.3判斷題

5.2.4填空題

5.2.5問答題

5.2.6計算題

第6章信道編碼

6.1知識點

6.1.1有擾離散信道的編碼定理

6.1.2線性分組碼

6.1.3循環碼

6.1.4卷積碼

6.2習題詳解

6.2.1選擇題

6.2.2判斷題

6.2.3填空題

6.2.4問答題

6.2.5計算題

第7章加密編碼

7.1知識點

7.1.1密碼學基本概念

7.1.2經典算法——DES(分組加密)

7.1.3經典算法——RSA

7.1.4流密碼

7.2習題詳解

7.2.1填空題

7.2.2名詞解釋

7.2.3計算題

第8章基礎實驗

8.1實驗一單符號離散信源熵的計算

8.1.1實驗目的

8.1.2實驗要求

8.1.3實驗原理與程序代碼

8.1.4思考題

8.2實驗二任意DMC信道容量的計算

8.2.1實驗目的

8.2.2實驗要求

8.2.3實驗原理與程序代碼

8.2.4實驗思考與改進

8.3實驗三AWGN波形信道容量的計算

8.3.1實驗目的

8.3.2實驗要求

8.3.3實驗原理與程序代碼

8.4實驗四可譯碼的判定

8.4.1實驗目的

8.4.2實驗要求

8.4.3實驗原理與程序代碼

8.4.4實驗思考與改進

8.5實驗五香農編碼

8.5.1實驗目的

8.5.2實驗要求

8.5.3實驗原理與程序代碼

8.5.4實驗思考與改進

8.6實驗六哈夫曼編碼

8.6.1實驗目的

8.6.2實驗要求

8.6.3實驗原理與程序代碼

8.6.4實驗思考與改進

8.7實驗七線性分組碼的編碼

8.7.1實驗目的

8.7.2實驗要求

8.7.3實驗原理與程序代碼

8.7.4實驗思考與改進

8.8實驗八線性分組碼的譯碼

8.8.1實驗目的

8.8.2實驗要求

8.8.3實驗原理與程序代碼

8.8.4實驗思考與改進

8.9實驗九循環冗余校驗(CRC)碼的編碼與譯碼

8.9.1實驗目的

8.9.2實驗要求

8.9.3實驗原理與程序代碼

8.9.4實驗思考與改進

8.10實驗十簡單的文本加密算法

8.10.1實驗目的

8.10.2實驗要求

8.10.3實驗原理與程序代碼

8.10.4實驗思考與改進

第9章拓展實驗篇

9.1實驗一英文文本中字符的概率統計

9.1.1實驗目的

9.1.2實驗要求

9.1.3實驗原理與程序代碼

9.1.4實驗思考

9.2實驗二二值圖像的遊程編碼無損壓縮

9.2.1實驗目的

9.2.2實驗要求

9.2.3實驗原理與程序代碼

9.2.4實驗思考

9.3實驗三灰度圖像的灰度降級與哈夫曼編碼的聯合壓縮

9.3.1實驗目的

9.3.2實驗要求

9.3.3實驗原理與程序代碼

9.3.4實驗思考

9.4實驗四灰度圖像的DCT變換與壓縮

9.4.1實驗目的

9.4.2實驗要求

9.4.3實驗原理與程序代碼

9.4.4思考題

9.5卷積碼的編碼與譯碼

9.5.1實驗目的

9.5.2實驗要求

9.5.3實驗算法與結果

9.5.4實驗思考

參考文獻