Python數據分析基礎教程（簡體書）

隨著大數據時代的來臨，一門集數學、統計學和計算機科學為一體的數據科學在世界範圍內迅速興起。數據科學也成為一門橫跨自然科學和社會科學的學問。未來社會，各行各業，都免不了和數據打交道，需要借助於數據分析，需要學習數據分析。本書從數據處理的角度來講解統計分析，內容包括數據科學基礎――數據與軟件、探索性分析、可視化技術、統計推斷、統計模型，大數據分析基礎――預測分析法、決策分析法、綜合評價法，大數據分析方法――統計方法，大數據分析入門――綜合應用。每種方法均輔以詳細的Python語言實現，便於提高實際操作能力。並配套開發了學習網站，學習者可以在任何終端（包括手機）上做數據分析。

前 言
眾所周知，數據分析是以數理統計為基礎，運用統計學的基本原理和方法，結合計算機對實際資料和信息進行收集、整理和分析的一門科學。因此，它的原理較為抽象，對學生的數學基礎要求也較高，教學中存在大量的數學公式、數學符號、矩陣運算和統計計算，必須借助於現代化的計算工具。
“人生苦短，我要用Python”，這是網上對Python評價最多的一句話。目前我國許多地區的高考試卷中都加入了Python編程的內容，更有甚者，一些中小學也開始開設Python編程課程，說明Python作為一種新興的編程語言，已深入人心。
本書重點介紹Python語言數據處理與數據分析方面的應用技巧，內容涉及數據的收集與整理、數據分析軟件介紹、Python編程分析基礎、數據的探索性分析、數據的可視化分析、數據的統計分析、數據的模型分析、數據的預測分析、數據的決策分析、數據的案例分析。
全書共10章內容，其中第1～3章主要講解數據分析的一些基礎知識，重點介紹如何進行數據的收集、整理和分析，以及Python數據的處理和編程技巧；第4～7章主要講解數據分析的一些常用數據分析方法，如數據的可視化、基本數據分析方法和模型分析；第8～10章介紹數據的一些簡單預測決策方法，並給出了一些應用Python方法的數據分析案例。
本書內容豐富，圖文並茂，可操作性強且便於查閱，主要面向希望應用Python進行數據分析的讀者，能有效地幫助讀者提高數據處理與分析的水平，提升工作效率。本書適合各層次的數據分析用戶，既可作為初學者的入門指南，又可作為中高級用戶的參考手冊，同時也可作為各大中專院校和培訓班的數據分析教材。
本書具有以下三大優點：
①使用Python科學計算發行版Anaconda，方便數據分析者使用。
該版本可從https://www.anaconda.com/下載安裝並直接使用。
②公開本書自定義函數的源代碼，使用者可以深入理解Python函數的編程技巧，用這些函數建立自己的開發包；並建立了本書的學習博客（http://blog.leanote.com/dapy)，書中的數據、代碼、例子、習題都可從該博客下載並直接使用（也可在華信教育資源網http://www.hxedu.com.cn免費下載）。
③採用網絡化教學平臺：Python的基礎版缺少一個面向一般人群的菜單界面，這對那些只想用其進行數據分析的使用者而言是一大困難，本書採用流行的Python網絡分析平臺Jupyter（https://jupyter.org/try），該平臺可作為數據分析教學軟件使用。
書中軟件輸出的坐標圖多數沒有標出橫、縱坐標的量，為與軟件界面保持一致，後期沒有人為添加。
本書由王斌會、王術共同完成，其中第1～6章由王斌會撰寫，第7～10章由王術撰寫，王斌會負責全書統稿。侯雅文、何志峰、顏斌、徐鋒和劉霞等進行了校對，在此深表謝意！
本書在寫作過程中得到了廣東時匯信息科技有限公司的大力支持，並使用了其公司提供的蜜蜂實訓平臺，為實戰操作提供了可靠的應用環境，同時公司協調雲計算工程師周劍輝、周政江等對實驗步驟進行了詳細的驗證，在此表示衷心感謝！
由於作者知識和水平有限，書中難免有錯誤和不足之處，歡迎讀者批評指正！

編著者
2018年8月于暨南園

目 錄
第1章 數據的收集與整理 1
1.1 數據的類型 1
1.1.1 按度量尺度分 1
1.1.2 按時間狀況分 1
1.2 數據的收集 2
1.2.1 橫向數據的收集 2
1.2.2 縱向數據的收集 6
1.3 數據的管理 7
1.3.1 表格管理數據 7
1.3.2 數據庫管理數據 8
數據及練習 8
第2章 數據分析軟件介紹 10
2.1 數據分析軟件簡介 10
2.2 Python語言介紹 11
2.2.1 Python簡介 11
2.2.2 Python的功能 12
2.2.3 Python編程環境 14
2.3 Python數據分析平臺 17
2.3.1 Jupyter數據分析平臺 18
2.3.2 Python在線分析平臺 23
2.4 Python編程入門 27
2.4.1 Python的工作目錄 27
2.4.2 Python分析包（庫） 27
2.4.3 Python中的數據管理 29
數據及練習 29
第3章 Python編程分析基礎 30
3.1 Python數據類型 30
3.1.1 Python對象 30
3.1.2 數據的基本類型 31
3.1.3 標準數據類型 33
3.2 數值分析庫numpy 34
3.2.1 一維數組（向量） 34
3.2.2 二維數組（矩陣） 35
3.2.3 數組的操作 35
3.3 數據分析庫pandas 36
3.3.1 序列（Series） 36
3.3.2 數據框（DataFrame） 37
3.3.3 數據框的讀寫 39
3.3.4 數據框的操作 41
3.4 Python編程運算 45
3.4.1 基本運算 45
3.4.2 控制語句 46
3.4.3 函數定義 47
3.4.4 面向對象 49
數據及練習 50
第4章 數據的探索性分析 52
4.1 數據的描述分析 52
4.1.1 基本描述統計量 52
4.1.2 計數數據匯總分析 53
4.1.3 計量數據匯總分析 53
4.2 基本繪圖命令 57
4.2.1 常用的繪圖函數 57
4.2.2 基於pandas的繪圖 66
4.3 數據的分類分析 70
4.3.1 一維頻數分析 70
4.3.2 二維集聚分析 73
4.3.3 多維透視分析 77
數據及練習 79
第5章 數據的可視化分析 80
5.1 特殊統計圖的繪製 80
5.1.1 數學函數圖 80
5.1.2 氣泡圖 82
5.1.3 三維曲面圖 82
5.1.4 三維散點圖 83
5.2 seaborn統計繪圖 83
5.2.1 基本概念 84
5.2.2 常用統計圖 84
5.3 ggplot繪圖系統 88
5.3.1 qplot快速製圖 89
5.3.2 ggplot基本繪圖 90
數據及練習 95
第6章 數據的統計分析 97
6.1 隨機變量及其分佈 97
6.1.1 均勻分佈 97
6.1.2 正態分佈 98
6.2 數據分析統計基礎 102
6.2.1 統計量的概念 102
6.2.2 統計量的分佈 103
6.3 基本統計推斷方法 106
6.3.1 參數的估計方法 107
6.3.2 參數的假設檢驗 109
數據及練習 111
第7章 數據的模型分析 113
7.1 簡單線性相關模型 113
7.1.1 線性相關的概念 113
7.1.2 相關係數的計算 114
7.1.3 相關係數的檢驗 115
7.2 簡單線性回歸模型 116
7.2.1 簡單線性模型估計 116
7.2.2 簡單線性模型檢驗 118
7.2.3 簡單線性模型預測 119
7.3 分組線性相關與回歸 120
7.3.1 分組線性相關分析 120
7.3.2 分組線性回歸模型 121
數據及練習 122
第8章 數據的預測分析 124
8.1 動態數列的基本分析 124
8.1.1 動態數列的介紹 124
8.1.2 動態數列的分析 126
8.2 動態數列預測分析 130
8.2.1 趨勢預測構建 130
8.2.2 平滑預測法 134
8.3 股票數據統計分析 138
8.3.1 股票價格分析 139
8.3.2 股票收益率分析 143
數據及練習 147
第9章 數據的決策分析 149
9.1 確定性分析 149
9.1.1 單目標求解 149
9.1.2 多目標求解 150
9.2 不確定性分析 151
9.2.1 分析方法 151
9.2.2 分析原則 152
9.3 風險分析 154
9.3.1 期望值法 154
9.3.2 後悔期望值法 155
數據及練習 155
第10章 數據的案例分析 157
10.1 在線數據獲取與分析 157
10.1.1 在線財經數據獲取 157
10.1.2 在線股票數據分析 159
10.1.3 新股發行數據分析 161
10.2 證券交易數據的分析 163
10.2.1 歷史行情數據分析 163
10.2.2 實時行情數據分析 165
10.2.3 大單交易數據分析 167
10.2.4 公司盈利能力分析 168
10.2.5 公司現金流量分析 169
10.3 宏觀經濟數據的實證分析 170
10.3.1 存款利率變動分析 170
10.3.2 國內生產總值GDP分析 172
10.3.3 工業品出廠價格指數分析 174
10.4 電影票房數據的實時分析 175
10.4.1 實時票房數據分析 175
10.4.2 每日票房數據分析 176
10.4.3 影院日度票房分析 177
數據及練習 178
附錄A 本書的學習博客 179
附錄B 書中的例子數據 181
附錄C 書中的自定義函數 182
參考文獻 183