活用數據分析的應用實務

Chapter 1 認織數據分析 1
1.1 認識數據（data) 3
1.2 數據分析的類型 11
1.3 數據分析的流程與方法 13
1.4 進行數據分析需要的運算環境與架構 17
1.5 從Python與R語言進入數據分析的世界 23
1.6 數據分析為什麼會跟人工智慧有關？ 25
1.7 透過數據發現因果關係（causation ) 29
1.8 從電腦視覺（computer vision )的觀點來看數據分析 39
1.9 數據分析的倫理問題 39
1.10 關於 kaggle.com 的網站 41
1.11 參考文獻與延伸學習 42

Chapter 2 數據的清理與探索分析 45
2.1 資料探索分析的種類與流程 49
2.2 如何進行資料探索分析 53
2.3 對資料集進行必要的處理 72
2.4 不可不知資料的視覺化方法 74
2.5 資料探索分析實務演練 81
2.6 資料探索分析與人工智慧 94
2.7 參考文獻與延伸學習 97

Chapter 3 認織特黴工程（feature engineering)與降低維度的方法 99
3.1 認識特徵工程（feature engineering ) 101
3.2 交互資訊（mutual information)與特徵工程 112
3.3 資料特徵的選擇與建立 120
3.4 遺失資料的處理 125
3.5 類別型變數（categorical variable)的處理 138
3.6 數值資料的轉換 144
3.7 資料分隔化（data discretization) 147
3.8 異常值（outlier)的處理 153
3.9 從日期時間資料擷取特徵 156
3.10 資料值範圍的改變 158
3.11 降低維度的方法 162
3.12 案例實作 162
3.13 人工智慧與特徵工程 165
3.14 參考文獻與延伸學習 169

Chapter 4 機器學習的原理與實務 171
4.1 認識模型工作的原理 174
4.2 了解低適（underfitting )與過適（overfitting ) 188
4.3 認識機器學習管道 198
4.4 遺失資料的處理 198
4.5 類別型資料的處理 202
4.6 善用管道化（pipeline )的技巧 205
4.7 交叉驗證（cross-validation ) 208
4.8 梯度提升法（Gradient Boosting )的運用 210
4.9 資料洩漏的問題 213
4.10 運用人工智慧技術輔助機器學習 215
4.11 跨越機器學習的專業門檻 216
4.12 參考文獻與延伸學習 216

Chapter 5 數據分析结果的詮釋 219
5.1 如何呈現數據分析的結果 221
5.2 透過欄位資料值的排列組合來辨別各資料特徵的重要性 225
5.3 資料特徵如何影響模型的預測能力 228
5.4 機器學習與模型的可詮釋性 236
5.5 模型詮釋的實作 241
5.6 透過人工智慧的工具來詮釋數據分析的結果 248
5.7 參考文獻與延伸學習 249

Chapter 6 活用數據分析的小型實例：探索企業的基本面與碳排放 251
6.1 認識永續金融政策 253
6.2 認識企業基本面與碳排放的資料集 258
6.3 資料探索分析 259
6.4 進行數據分析 261
6.5 數據分析結果的詮釋 264
6.6 參考文獻與延伸學習 265

Chapter 7 數據分析的實務案例：運用自然語言處理的情緒分析（sentiment analysis) 267
7.1 情緒分析（sentiment analysis )的定義 269
7.2 情緒分析的工作原理 273
7.3 情緒分析的類型 276
7.4 各種情緒分析的方法 279
7.5 透過Python程式進行情緒分析 283
7.6 情緒分析的應用 291
7.7 情緒分析的未來發展 293
7.8 從情緒分析的結果去進行數據分析 293
7.9 參考文獻與延伸學習 295

Chapter 8 感測器資科分析案例 297
8.1 背景和問題定義 299
8.2 資料探索與前處理 301
8.3 統計方法的異常偵測 319
8.4 機器學習方法的異常偵測 339
8.5 綜合討論 347
8.6 參考文獻與延伸學習 351

Chapter 9 交通數據分析案例 353
9.1 背景和問題定義 355
9.2 資料理解與前處理 360
9.3 探索性資料分析 381
9.4 建立預測模型 411
9.5 綜合討論 443
9.6 參考文獻與延伸學習 465