Python數據分析、挖掘與可視化（簡體書）

隨著人工智能技術的發展，挖掘和分析商業應用大數據已經成為一種推動企業應用場景落地的重要手段，大數據分析已經成為一個快速發展的新型學科。在人工智能及大數據分析中，Python以簡潔、豐富的第三方庫被廣泛采用。雖然市面有很多以Python為基礎的數據分析書籍，但關注數據分析全流程分析技術的書籍卻很少，尤其使讀者能夠對數據分析技術全面了解、易於上手的入門教材更為短缺。因而，本書在Python開發的基礎上，通過案例全面深入介紹了大數據分析中的Python開發知識、數據采集與存儲、數據預處理、數據分析、數據可視化、數據挖掘等技術，並引入了數據分析綜合案例社交用戶畫像挖掘，供讀者深入學習。
本書從數據分析所需的Python開發技術講起，由淺入深，逐步介紹在數據采集、數據處理、數據存儲、數據分析、數據可視化方面的技術，及Python在數據挖掘、機器學習、嵌入式開發中的技術及應用等內容。全書共8章，共分4部分：分別為Python開發技術（第1章、第2章），數據采集、存儲、預處理部分（第3章、第4章）；數據分析、可視化、挖掘應用部分（第5章、第6章、第7章）；綜合案例社交用戶畫像挖掘（第8章）。
本書作為面向高等院校大數據技術的教材，涵蓋了大數據分析所涉及的主要技術。通過項目案例，構建Python基礎及數據分析應用知識體系，以項目貫穿、由簡到繁、由易到難，簡單易上手，項目內容豐富全面，信息量大。在知識內容組織上全方位涵蓋了Python環境搭建、Python高級開發、數據預處理、數據分析、數據可視化的全流程操作，以及Python數據挖掘、可視化的知識體系，適合Python數據分析的初學者。
本書所介紹的項目案例都是在Python 38環境和PyCharm下調試運行通過的。而第8章的綜合案例是基於Flask框架來完成的，可幫助讀者理解、掌握大數據分析的高級應用開發。從數據預處理→數據分析→建模訓練→用戶畫像展示的全流程設計開發，讀者可按照書中項目案例，完成數據分析的全過程任務。
本書編寫、代碼調試工作由毋建軍、姜波完成。感謝本書編輯胡靜給予的支持和幫助。
本書提供所有項目源代碼及數據，可登錄注冊下載。
由於編者水平有限，書中難免存在不妥之處，請讀者指正，並提出寶貴意見。

編 者

前言

第1章 Python基礎1
11 Python概述1
12 Python大數據應用3
121 Python與大數據技術3
122 常用行業數據集6
123 嵌入式開發應用6
124 數據挖掘及應用7
125 機器學習及應用8
126 數據分析未來發展9
13 搭建Python開發環境10
131 Python開發環境系統要求10
132 Windows系統平臺下搭建開發環境10
133 Linux系統平臺下搭建開發環境12
134 Mac系統平臺下搭建開發環境13
14 Python集成開發平臺14
15 Python常用庫概述18
151 Python庫簡介18
152 Python庫安裝及集成19
153 Python數據分析工具21
16 創建Python程序21
161 在Anaconda下創建Python程序22
162 命令行創建Python程序25
163 Python運行在移動終端25
164 創建Python嵌入式程序27
習題28
第2章 Python高級開發29
21 字符串29
211 字符串及格式化29
212 字符串常用方法32
213 字符串匹配與正則表達式匹配33
214 字符串應用35
22 文本處理35
221 讀寫JSON數據35
222 讀寫CSV數據37
223 解析XML數據38
224 字典轉XML數據42
225 文本處理應用43
23 文件和流45
231 打開文件及模式45
232 文件處理方法46
233 文件應用47
24 網絡及Web應用48
241 創建TCP、UDP服務器48
242 RPC遠程訪問51
243 Python動態網站應用52
25 Python圖形繪制55
251 Python GUI簡介55
252 wxPython安裝及配置55
253 wxPython應用55
254 PySimpleGUI及Jython應用58
26 Python測試及框架60
習題63
第3章 Python數據采集與存儲64
31 數據采集簡介64
311 數據源概述64
312 常用的爬蟲框架66
313 社交網站信息采集75
32 Python數據存儲78
321 文本格式存儲78
322 文本存儲應用80
323 二進制格式存儲80
324 二進制存儲應用81
33 數據庫存儲81
331 Python 常用數據庫簡介82
332 MongoDB及應用82
333 Redis及應用93
334 SQLite及應用102
335 PyTables 及應用108
336 社交數據存儲112
34 案例：租房數據采集與存儲113
習題115
第4章 Python數據預處理116
41 數據預處理及工具簡介116
411 預處理基礎116
412 預處理方法117
413 預處理技術118
414 垃圾短信分類預處理120
42 NumPy122
421 NumPy安裝及配置123
422 NumPy的數據存取123
423 NumPy的矩陣構建126
424 NumPy 的矩陣運算128
425 NumPy的數學統計131
426 NumPy的排序運算134
427 NumPy處理缺失項136
43 pandas137
431 pandas安裝及配置138
432 pandas數據結構141
433 pandas 數據加載和存儲142
434 pandas數值計算與排序144
435 pandas數據索引構建147
436 pandas復雜數據結構148
437 書目信息索引149
44 SciPy150
441 SciPy安裝及配置151
442 SciPy的文件輸入與輸出152
443 SciPy的特殊函數應用152
444 SciPy的線性代數運算153
445 SciPy的快速傅裡葉變換154
446 SciPy的優化和擬合155
45 案例：社交網站數據預處理157
習題162
第5章 Python數據分析163
51 數據分析簡介163
511 數據分析發展163
512 數據分析主流技術164
513 數據分析應用領域166
52 Python 數據分析庫167
521 scikit-learn167
522 statsmodels170
523 Gensim172
524 Keras174
525 社交網站數據分析177
53 分類178
531 分類簡介179
532 常用分類算法179
533 分類評價標準181
534 新聞分類182
54 回歸184
541 回歸簡介184
542 常用回歸算法185
543 回歸評價標準187
544 房屋價格回歸分析188
55 聚類189
551 聚類簡介189
552 典型聚類算法189
553 聚類評價標準191
554 用戶社區聚類分析192
56 機器學習基礎194
561 機器學習簡介194
562 常見機器學習算法195
563 主流應用框架196
564 Theano 應用198
57 案例：購物網站用戶態度及情感分析199
習題201
第6章 Python 數據可視化202
61 數據可視化簡介202
611 數據可視化定義202
612 數據可視化發展203
613 數據可視化分類204
614 數據可視化應用205
62 數據可視化基礎206
621 數據可視化基本流程206
622 主流數據可視化分析技術207
623 人口遷移數據可視化209
63 數據可視化開發工具210
631 matplotlib210
632 NetworkX213
633 seaborn214
634 ggplot216
635 Bokeh217
636 Pygal219
637 Plotly221
638 pyecharts224
64 數據可視化分析框架227
65 案例：話題漂移可視化228
習題232
第7章 Python數據挖掘與應用233
71 數據挖掘簡介233
711 Python數據挖掘基礎234
712 文本分詞236
713 Gensim文本主題挖掘237
714 新詞發現242
72 Python視頻數據處理244
721 常見視頻數據處理算法244