Python應用實戰：爬蟲、文本分析與可視化（簡體書）

歡迎來到Python的世界。本書介紹了Python的語法、數據結構等基礎知識，以及經典的Python爬蟲、網頁文本分析及可視化。在本書中，讀者不僅可以與Python“結識”，還會遇到新“朋友”―――瀏覽器的開發者工具，通過它來瞭解HTML編寫網頁的語言，並進行結構化的網頁分析和所需數據的提取。拿來主義特別適合來類比Python語言中的庫，Python將與re、requests、lxml等經典的庫組合在一起，自動抓取網頁數據的爬蟲。Pandas這個工具會對抓取的數據進行文本分析，並實現將枯燥的數據進行漂亮的可視化呈現。千里之行，始於足下，歡迎進入本書的奇妙之旅。

張麗，女，電子科技大學大數據研究中心教師，主要從事數據分析、Python語言的應用以及項目開發等相關課程的教學和科研。

本書圍繞學會編程並能使用編程語言進行程序設計、圍繞數據進行處理的主題，介紹編程和相關的知識。
本書面向那些希望學習一門編程語言並想對數據進行處理的讀者。
獲得Python語言的基礎技能，學會用程序員的思維來處理問題。
在面對大量數據時，會借助Python，學習怎樣自動抓取。
文本分析的方法可對數據進行清洗，你將瞭解到正則表達式的強大。
當乾淨的數據被導入後，你會學習分析這些數據，將枯燥的數據轉化為可視化的、生動的圖片。

無

目 錄

第1章 初識Python 1
1.1 使用IDLE 1
1.2 從字符串著手 4
1.3 複雜數據的福音――列表 7
1.3.1 創建列表 7
1.3.2 列表的操作 7
1.4 處理數據――條件判斷 9
1.5 處理數據――循環 11
1.6 處理數據進階――嵌套語句 12
1.7 函數 14
1.8 拿來就用――模塊 16
1.9 文件 17
1.10 處理異常 18
第2章 網頁 20
2.1 工具準備 20
2.2 從URL開始 21
2.2.1 簡單獲取URL 22
2.2.2 鏈接與URL 24
2.3 編寫網頁的語言――HTML 25
2.3.1 創建自己的第一個網頁 26
2.3.2 標簽――創建網頁的方塊 27
2.3.3 標簽屬性 30
2.4 CSS與class 31
2.5 JavaScript和id 33
2.6 網頁分析工具 36
2.6.1 谷歌開發者工具 36
2.6.2 查看網頁結構 38
2.6.3 定位指定的元素 39
2.6.4 篩選不同的資源 41
2.7 網頁的快遞――HTTP 44
2.7.1 HTTP請求 45
2.7.2 HTTP響應 46
2.7.3 HTTP的應用――Cookie和Session 47
2.7.4 實戰――HTTP的交互過程 49
2.8 以URL結束 52
2.9 本章總結 55
第3章 數據抓取 56
3.1 工具準備 56
3.2 Xpath和lxml.html 58
3.2.1 網頁分析利器――lxml 58
3.2.2 XPath 59
3.2.3 XPath使用實例 60
3.2.4 XPath演示 61
3.3 關於robots.txt 62
3.4 小試牛刀 64
3.4.1 過程分析 64
3.4.2 動手敲代碼 67
3.4.3 小結 68
3.4.4 擴展 68
3.5 獲取電影數據(上) 69
3.5.1 過程分析 70
3.5.2 動手敲代碼 73
3.5.3 小結 74
3.6 獲取電影數據(下) 75
3.6.1 過程分析 76
3.6.2 動手敲代碼 76
3.6.3 考慮加強代碼的健壯性 78
3.6.4 小結 80
3.7 另類的網頁抓取 80
3.7.1 過程分析 81
3.7.2 動手敲代碼 84
3.7.3 小結 85
3.8 爬蟲與網絡機器人 85
3.9 本章總結 86
第4章 文本處理 87
4.1 正則表達式 87
4.1.1 怎樣進行匹配 87
4.1.2 常用的元字符 88
4.2 更強的文本工具――Python的 re庫 89
4.2.1 匹配對象怎麼用 91
4.2.2 使用regex來搜索 91
4.2.3 使用regex來替換 93
4.2.4 更方便查找 95
4.2.5 re庫中的控制標誌 95
4.2.6 replace()和re.sub() 98
4.2.7 實現更高級的strip()方法 99
4.2.8 新的拆分方法re.split() 100
4.2.9 怎樣提取中文 101
4.3 電影數據的處理 102
4.3.1 提取之前的觀察 104
4.3.2 需要獲取哪些數據 104
4.3.3 多樣化的方法 111
4.3.4 格式化的數據 112
4.4 本章總結 115
第5章 數據分析 116
5.1 工具準備 116
5.1.1 配置Jupyter Notebook 116
5.1.2 數據生成幫手――Numpy 116
5.1.3 Pandas中的數據結構 118
5.2 像一維數組的Series 118
5.2.1 獲取Series信息 120
5.2.2 Series進行數學運算 123
5.2.3 對Series進行一些操作 124
5.2.4 方法串聯 128
5.2.5 操作Series中的字符串數據 129
5.2.6 小結一下Series 130
5.3 DataFrame 131
5.3.1 創建DataFrame 132
5.3.2 對齊 133
5.3.3 瞭解DataFrame 134
5.3.4 常用DataFrame操作 137
5.3.5 數據的導入與導出 141
5.4 簡單數據分析 145
5.4.1 電影評分分佈 145
5.4.2 電影產量趨勢 146
5.4.3 評論人數最多的電影 147
5.4.4 發行電影最多的國家 148
5.5 看得見的數據 153
5.5.1 線圖 153
5.5.2 柱狀圖 155
5.5.3 餅圖 157