Python程序設計（簡體書）

本書是中國信息協會大數據分會副會長劉鵬教授組織編撰的“高級大數據人才培養叢書”之一。本書是一本全面的、從入門到實踐的Python編程教程，從帶領讀者快速掌握基本的Python編程知識開始，循序漸進、層層深入地引導讀者利用新學到的知識開發功能豐富的項目。本書首先介紹了Python基礎；接著介紹了數據類型、文件、程序調試、面向對象程序設計、連接數據源等基本知識；然後結合網絡爬蟲、數據挖掘、自然語言處理、數據可視化、Web和移動應用等工具，以案例為依託進行項目實戰；最後介紹了國內各種雲服務平臺，以及如何運用Python實現訪問。本書的全部實驗均可在大數據實驗平臺(https://bd.cstor.cn/login)上遠程開展，也可在高校部署的BDRack大數據實驗一體機上本地開展。

張雪萍，女，博士，教授，教育部新世紀優秀人才支持計劃入選者，河南省高校科技創新人才支持計劃入選者，河南省高校優秀青年骨幹教師，河南省教育廳學術技術帶頭人，全國高等學校計算機教育研究會理事。主要研究方向包括空間數據挖掘與信息共享、智能信息處理技術、數據庫版權保護、軟件測試等。近年來，主持承擔並完成河南省自然科學基金研究項目、河南省科技攻關研究項目等8項，參與完成國家“八五”、“十五”科技攻關項目2 項，參與完成省級鑒定項目6項。目前主持承擔教育部新世紀優秀人才計劃、教育部空間數據挖掘與信息共享重點實驗室開放基金、河南省高校科技創新人才計劃等在研項目5項。

總 序
短短幾年間，大數據就以一日千里的發展速度，快速實現了從概念到落地，直接帶動了相關產業井噴式發展。全球多家研究機構統計數據顯示，大數據產業將迎來發展黃金期：IDC預計，大數據和分析市場將從2016年的1300億美元增長到2020年的2030億美元以上；中國報告大廳發佈的大數據行業報告數據也說明，自2017年起，我國大數據產業將迎來發展黃金期，未來2～3年的市場規模增長率將保持在35%左右。
數據采集、數據存儲、數據挖掘、數據分析等大數據技術在越來越多的行業中得到了應用，隨之而來的就是大數據人才問題的凸顯。麥肯錫預測，每年數據科學專業的應屆畢業生將增加7%，然而僅高質量項目對專業數據科學家的需求每年就會增加12%，完全供不應求。根據《人民日報》的報道，未來3～5年，中國需要180萬數據人才，但目前只有約30萬人，人才缺口近150萬人。
以貴州大學為例，其首屆大數據專業研究生就業率達到100%，可以說被“一搶而空”。急切的人才需求直接催熱了大數據專業，教育部正式設立“數據科學與大數據技術”本科專業。目前已經有三批共計283所大學獲批，包括北京大學、中南大學、對外經濟貿易大學、中國人民大學、北京郵電大學、復旦大學等。
不過，就目前而言，在大數據人才培養和大數據課程建設方面，大部分高校仍然處於起步階段，需要探索的問題還很多。首先，大數據是個新生事物，懂大數據的老師少之又少，院校缺“人”；其次，尚未形成完善的大數據人才培養和課程體系，院校缺“機制”；再次，大數據實驗需要為每位學生提供集群計算機，院校缺“機器”；最後，院校沒有海量數據，開展大數據教學科研工作缺少“原材料”。
其實，早在網格計算和雲計算興起時，我國科技工作者就曾遇到過類似的挑戰，我有幸參與了這些問題的解決過程。為了解決網格計算問題，我在清華大學讀博期間，於2001年創辦了中國網格信息中轉站網站，每天花幾個小時收集有價值的資料並分享給學術界，此後我也多次籌辦和主持全國性的網格計算學術會議，進行信息傳遞與知識分享。2002年，我與其他專家合作完成的《網格計算》教材也正式面世。
2008年，當雲計算開始萌芽之時，我創辦了中國雲計算網站（chinacloud.cn）（在各大搜索引擎“雲計算”關鍵詞中排名第一），2010年編寫了《雲計算（第1版）》、2011年編寫了《雲計算（第2版）》、2015年編寫了《雲計算（第3版）》，每一版都花費了大量成本製作並免費分享對應的幾十個教學PPT。目前，這些PPT的下載總量達到了幾百萬次。同時，《雲計算》一書也成為國內高校的首選教材。在CNKI公佈的高被引圖書名單中，《雲計算（第1版）》在自動化和計算機領域排名全國第一（統計2010年後出版的所有圖書）。除了資料分享，2010年我也在南京組織了全國高校雲計算師資培訓班，培養了國內第一批雲計算老師，並通過與華為、中興、360等知名企業合作，輸出雲計算技術，培養雲計算研發人才。這些工作獲得了大家的認可與好評，此後我接連擔任了工信部雲計算研究中心專家、中國雲計算專家委員會雲存儲組組長等職務。
近幾年，面對日益突出的大數據發展難題，我也正在嘗試使用此前類似的辦法去應對這些挑戰。為了解決大數據技術資料缺乏和交流不夠通透的問題，我於2013年創辦了中國大數據網站（thebigdata.cn），投入大量的人力進行日常維護，該網站目前已經在各大搜索引擎的“大數據”關鍵詞排名中位居第一；為了解決大數據師資匱乏的問題，我面向全國院校陸續舉辦多期大數據師資培訓班。從2016年年底至今，我在南京多次舉辦全國高校/高職/中職大數據免費培訓班，基於《大數據》《大數據實驗手冊》及雲創大數據提供的大數據實驗平臺，幫助到場老師們跑通了Hadoop、Spark等多個大數據實驗，使他們跨過了“從理論到實踐，從知道到用過”的門檻。2017年5月，我還舉辦了全國千所高校大數據師資免費講習班，盛況空前。
其中，為了解決大數據實驗難的問題而開發的大數據實驗平臺，正在為越來越多高校的教學科研帶去方便：2016年，我帶領雲創大數據（www.cstor.cn，股票代碼：835305）的科研人員，應用Docker容器技術，成功開發了BDRack大數據實驗一體機，打破了虛擬化技術的性能瓶頸，可以為每位參加實驗的人員虛擬出Hadoop集群、Spark集群、Storm集群等，自帶實驗所需數據，並準備了詳細的實驗手冊（包含42個大數據實驗）、PPT和實驗過程視頻，可以開展大數據管理、大數據挖掘等各類實驗，並可以進行精確營銷、信用分析等多種實戰演練。目前，大數據實驗平臺已經在鄭州大學、西京學院、鄭州升達經貿管理學院、鎮江高等職業技術學校等多所院校成功應用，並廣受校方好評。該平臺也可在線使用（https://bd.cstor.cn），幫助師生通過自學，用一個月左右的時間成為大數據實驗動手的高手。
同時，為了解決缺乏權威大數據教材的問題，我所負責的南京大數據研究院，聯合金陵科技學院、河南大學、雲創大數據、中國地震局等多家單位，歷時兩年，編著出版了適合本科教學的《大數據》《大數據庫》《大數據實驗手冊》《數據挖掘》《大數據可視化》《深度學習》等教材。另外，《Python程序設計》《虛擬化與容器》等本科教材也將於近期出版。在大數據教學中，本科院校的實踐教學應更具系統性，偏向新技術的應用，且對工程實踐能力要求更高；而高職高專院校則更偏向技術性和技能訓練，理論以夠用為主，學生將主要從事數據清洗和運維方面的工作。基於此，我們還聯合多家高職院校的專家準備了《雲計算基礎》《大數據基礎》《數據挖掘基礎》《R語言》《數據清洗》《大數據系統運維》《大數據實踐》系列教材，目前也已經陸續進入定稿出版階段。
此外，這些圖書的配套PPT和其他資料也將繼續在中國大數據（thebigdata.cn）和中國雲計算（chinacloud.cn）等網站免費提供。同時，大數據實驗平臺（https://bd.cstor.cn）、免費的物聯網大數據託管平臺萬物雲（wanwuyun.com）和環境大數據免費分享平臺環境雲（envicloud.cn）將持續開放，使資源與數據唾手可得，讓大數據學習變得更加輕鬆。
在此，特別感謝我的碩士生導師謝希仁教授和博士生導師李三立院士。謝希仁教授所著的《計算機網絡》已經更新到第7版，與時俱進且日臻完善，時時提醒學生要以這樣的標準來寫書。李三立院士是留蘇博士，為我國計算機事業做出了傑出貢獻，曾任國家攀登計劃項目首席科學家。他嚴謹治學，帶出了一大批傑出的學生。
本叢書是集體智慧的結晶，在此謹向付出辛勤勞動的各位作者致敬！書中難免會有不當之處，請讀者不吝賜教。我的郵箱：gloud@126.com，微信公眾號：劉鵬看未來（lpoutlook）。
劉 鵬
于南京大數據研究院

前 言
隨著機器學習的興起和數據科學的應用發展，Python逐步成了最受歡迎的語言。它簡單易用、邏輯明確並擁有海量的擴展包，因此其不僅成為機器學習與數據科學的首選語言，同時在網頁、數據爬取和科學研究等方面也成為不二選擇。
《Python程序設計》是中國信息協會大數據分會副會長劉鵬教授組織編撰的“高級大數據人才培養叢書”之一。一是考慮程序設計要注重實際應用開發，二是由於所在叢書中《數據挖掘》《大數據》《雲計算》等對關聯規則、神經網絡、推薦系統、雲計算算法有詳細的介紹，故本書沒有再介紹有關這幾部分的理論及技術。另外，本書的全部實驗均可在大數據實驗平臺（https://bd.cstor.cn/login）上遠程開展，也可在高校部署的BDRack大數據實驗一體機上本地開展。
基於上述原則，全書分為12章，其主要內容如下：
第1章Python基礎。主要介紹Python的特點、Python的安裝與運行、程序控制等。
第2章數據類型。學習Python提供的基本數據類型：整型、浮點型、列表、元組、字典、字符串等。
第3章文件。學習如何使用Python程序對文件進行操作，主要包括如何讀寫文件，如何處理Word文件、.pdf文件及壓縮文件等。
第4章程序調試。主要學習程序運行時發生錯誤或異常的各種處理方法，以及修復程序bug的各種調試手段等。
第5章面向對象程序設計。結合Python學習面向對象程序設計，主要包括面向對象程序技術的基本概念、類的定義和對象、類屬性、類的方法、類的繼承性與多態性等。
第6章連接數據源。主要學習如何基於Python第三方庫pandas處理CSV數據源、Excel數據源、JSON數據源，以及數據庫的操作。
第7章網絡爬蟲。主要學習如何使用Python網絡爬蟲為特定用戶準備數據資源，並以熱門電影搜索、大數據相關論文文章標題採集、全國空氣質量爬取為案例進行爬蟲項目實戰。
第8章數據挖掘。學習如何用Python數據分析工具進行數據挖掘，主要包括數據預處理、分類與預測、聚類分析，並以信用評估、影片推薦系統等進行數據挖掘項目實戰。
第9章自然語言處理。學習Python在自然語言處理方面的應用，主要包括如何應用NLTK、jieba完成分詞、詞性標注、命名實體識別及語法分析等，並以搜索引擎為例進行自然語言處理項目實戰。
第10章數據可視化。學習如何使用Python圖形庫進行繪圖操作，實現數據的可視化，主要包括Pillow、Matplotlib、Echarts的使用等。
第11章Web和移動應用。結合案例學習如何基於Django進行Python Web開發，以及如何基於Python Kivy開發Python移動應用。
第12章與雲結合。主要介紹國內各種雲服務平臺，以及如何運用Python API、Python SDK實現訪問。
本書框架和內容主要由劉鵬教授規劃，第1～4章由唐萬梅編寫，第5～7、10章由景雪琴編寫，第8、9、11、12章由張雪萍編寫，全書由張雪萍統稿潤色。
本書非常適合作為高校教材使用。自2012年始，本

第1章 Python基礎 1
1.1 Python簡介 1
1.2 Python的安裝與運行 3
1.3 Python版本的選擇 8
1.4 程序控制 11
1.4.1 Python賦值語句 11
1.4.2 順序結構 18
1.4.3 選擇結構 19
1.4.4 循環結構 22
1.5 繪圖 27
1.5.1 創建turtle對象 27
1.5.2 turtle繪圖的基礎知識 29
1.5.3 利用turtle庫提供的方法繪製圖形 31
1.6 函數 37
1.6.1 函數的定義 37
1.6.2 函數的調用 39
1.6.3 lambda函數 42
習題 42
參考文獻 43
第2章 數據類型 44
2.1 核心內置數據類型概述 44
2.2 數字類型聲明及基本運算 47
2.2.1 整型 47
2.2.2 浮點型 47
2.2.3 複數類型 47
2.2.4 數字運算符 48
2.2.5 數字類型的常用函數及math庫 49
2.2.6 數字類型轉換函數 51
2.2.7 浮點型精度處理 52
2.3 列表 53
2.3.1 列表基本特徵 53
2.3.2 序列通用操作 55
2.3.3 可變序列及列表通用操作（一） 58
2.3.4 可變序列及列表通用操作（二） 59
2.4 元組 62
2.5 range 64
2.6 哈希運算 66
2.7 字典 67
2.7.1 字典概述及聲明 67
2.7.2 字典元素的訪問 71
2.7.3 字典常用方法 71
2.8 字符串 74
2.8.1 字符串的聲明 74
2.8.2 轉義字符 76
2.8.3 字符串序列通用操作 77
2.8.4 字符串常用內置方法 78
習題 82
參考文獻 83
第3章 文件 84
3.1 讀寫文件 84
3.1.1 文件對象聲明與基本操作 84
3.1.2 編碼問題 89
3.1.3 文件寫入操作 90
3.1.4 列表推導式 92
3.1.5 關閉文件 94
3.1.6 上下文語法 94
3.1.7 生成器 95
3.2 遍歷目錄樹 97
3.3 處理Word文件 102
3.3.1 Python-docx庫 102
3.3.2 利用Python-docx庫讀Word文件 102
3.3.3 利用docx創建Word文件 104

3.4 處理.pdf文件 105
3.5 處理壓縮文件 107
習題 111
參考文獻 112
第4章 程序調試 113
4.1 異常 113
4.2 斷言 127
4.3 日誌 131
4.4 調試器 138
習題 144
參考文獻 144
第5章 面向對象程序設計 146
5.1 面向對象程序技術的基本概念 146
5.2 類的定義和對象 148
5.3 構造函數和析構函數 150
5.4 類屬性和實例屬性 151
5.5 類的方法 152
5.5.1 類方法 152
5.5.2 實例方法 152
5.5.3 靜態方法 152
5.5.4 類的特殊方法 154
5.6 類的繼承性 160
5.6.1 單一繼承 160
5.6.2 多重繼承 162
5.7 類的多態性 164
習題 164
參考文獻 165
第6章 連接數據源 166
6.1 導入CSV數據 166
6.1.1 CSV數據的格式 166
6.1.2 Python讀取CSV文件 167
6.1.3 Python寫CSV文件 169
6.2 導入Excel數據 170
6.2.1 Python讀取Excel文件 171
6.2.2 Python寫Excel文件 171
6.3 導入JSON數據 172
6.3.1 JSON數據的格式 172
6.3.2 Python解碼JSON數據 172
6.3.3 Python編碼JSON數據 173
6.3.4 Python處理JSON數據文件 174
6.4 訪問數據庫 175
6.4.1 數據庫的查詢操作 177
6.4.2 數據庫的插入操作 178
6.4.3 數據庫的刪除操作 178
6.4.4 數據庫的修改操作 179
習題 179
參考文獻 180
第7章 網絡爬蟲 181
7.1 網絡爬蟲工作的基本原理 181
7.1.1 網頁的概念 181
7.1.2 網絡爬蟲的工作流程 182
7.1.3 Python與網絡爬蟲 183
7.2 網頁內容獲取――requests庫 183
7.2.1 requests對象 184
7.2.2 response對象 184
7.3 網頁內容解析――BeautifulSoup 庫 185
7.3.1 BeautifulSoup 庫概述 185
7.3.2 beautifulsoup4 庫常用方法和Tag節點 187
7.4 正則表達式 188
7.4.1 正則表達式概念 188
7.4.2 正則表達式元字符介紹 190
7.4.3 正則表達式的常用函數介紹 194
7.5 實戰：熱門電影搜索 195
7.6 實戰：大數據相關論文文章標題採集 196
7.7 實戰：全國空氣質量爬取 198
習題 199
參考文獻 200
第8章 數據挖掘 201
8.1 Python常用數據分析工具 201
8.1.1 Numpy 201
8.1.2 Scipy 202
8.1.3 pandas 202
8.1.4 Scikit-Learn 203
8.2 數據預處理 204
8.2.1 數據清理 204
8.2.2 數據集成 205
8.2.3 數據變換 206
8.2.4 Python數據預處理 206
8.3 分類與預測 210
8.3.1 特徵選擇 210
8.3.2 性能評估 210
8.3.3 實現過程 212
8.3.4 分類與預測的常用方法 213
8.4 聚類分析 235
8.4.1 聚類分析定義 235
8.4.2 聚類分析評價標準 235
8.4.3 數據相似度度量 236
8.4.4 聚類分析的常用方法 237
8.5 實戰：信用評估 247
8.5.1 數據加載及說明 247
8.5.2 數據預處理 248
8.5.3 劃分數據集 249
8.5.4 模型建立及參數調優 250
8.5.5 模型測試及分析 252
8.6 實戰：影片推薦系統 255
8.6.1 推薦系統 255
8.6.2 python-recsys簡介 256
8.6.3 影片推薦 256
習題 258
參考文獻 258
第9章 自然語言處理 260
9.1 Python 常用自然語言處理工具 260
9.1.1 Python自然語言處理工具包NLTK 260
9.1.2 Python中文處理工具jieba 260
9.1.3 Python語法解析器PLY 261
9.2 文本處理 261
9.2.1 文本獲取 261
9.2.2 文本表示 262
9.2.3 文本特徵詞提取 263
9.3 詞法分析 268
9.3.1 分詞 268
9.3.2 詞性標注 270
9.3.3 命名實體識別 271
9.3.4 去停用詞 272
9.3.5 中文分詞實戰 275
9.4 語法分析 277
9.4.1 語法分析簡介 277
9.4.2 語法樹 277
9.4.3 語法分析算法 278
9.4.4 語法分析示例 280
9.5 實戰：搜索引擎 282
習題 290
參考文獻 291
第10章 數據可視化 292
10.1 用Pillow操作圖像 292
10.1.1 圖像的基本知識 292
10.1.2 圖像處理中常用的模塊和函數 293
10.1.3 案例介紹 296
10.2 用Matplotlib繪圖 298
10.2.1 Matplotlib常用函數介紹 299
10.2.2 折線圖的函數定義及屬性說明 299
10.2.3 案例介紹 300
10.3 調用Echarts 308
習題 310
參考文獻 310
第11章 Web和移動應用 311
11.1 Web框架Django 311
11.1.1 Django簡介 311
11.1.2 Web框架 311
11.1.3 MVC和MTV模式 312
11.1.4 Django的安裝 313
11.2 Python Web開發 314
11.2.1 創建項目 314
11.2.2 Django 模板 316
11.2.3 Django 模型 318
11.2.4 Django Admin管理工具 323
11.2.5 Django Nginx+uwsgi 安裝配置 330
11.3 Python移動應用開發 333
11.3.1 Python Kivy 333
11.3.2 Python 移動應用開發 334
11.3.3 基於Python開發2048遊戲 335
習題 340
參考文獻 341
第12章 與雲結合 342
12.1 阿裡雲 342
12.1.1 阿裡雲架構 342
12.1.2 CLI Python 版 344
12.2 騰訊雲 350
12.2.1 騰訊雲總體架構 350
12.2.2 騰訊雲Python訪問 351
12.3 百度雲 354
12.3.1 百度雲架構 355
12.3.2 BAE Python部署 357
12.4 萬物雲 359
12.4.1 功能及應用 360
12.4.2 數據服務及訪問 36