預測分析與數據挖掘：RapidMiner實現（簡體書）

Vijay Kotu，Yahoo分析總監，負責線上業務的大資料與分析系統的實現，在預測分析領域有十餘年工作經驗。ACM會員，美國品質協會認證的六西格瑪黑帶。

Bala Deshpande，業界知名資料分析應用開發與諮詢公司SimaFore創始人，20餘年分析經驗，精通各類分析技巧，經常在其博客www.simafore.com/blog上分享資料挖掘與預測分析方面的心得。

嚴雲 研究興趣為計算生物學，以0和1的語言解讀ATGC的世界。

第 1章　引言 1

1．1　什麼是數據挖掘 2

1．1．1　有意義模式的提取 2

1．1．2　代表性模型的構建 2

1．1．3　統計、機器學習和計算的搭配 3

1．1．4　演算法 4

1．2　對數據挖掘的誤解 4

1．3　數據挖掘的初衷 5

1．3．1　海量數據 5

1．3．2　多維 6

1．3．3　複雜問題 6

1．4　數據挖掘的種類 7

1．5　資料挖掘的演算法 8

1．6　後續章節導覽 9

1．6．1　數據挖掘的序曲 9

1．6．2　小插曲 10

1．6．3　主要內容：預測分析和資料挖掘演算法 10

1．6．4　特別應用 12

參考文獻 13

第 2章　資料挖掘流程 14

2．1　先驗知識 16

2．1．1　目標 16

2．1．2　研究問題的背景 17

2．1．3　數據 17

2．1．4　因果性與相關性 18

2．2　數據準備 19

2．2．1　資料探索 19

2．2．2　資料品質 20

2．2．3　缺失值 20

2．2．4　資料類型和轉換 20

2．2．5　資料轉換 21

2．2．6　離群點 21

2．2．7　特徵選擇 21

2．2．8　資料採樣 22

2．3　建模 22

2．3．1　訓練集和測試集 23

2．3．2　建模演算法 24

2．3．3　模型評估 25

2．3．4　集成建模 26

2．4　應用 27

2．4．1　生產準備 27

2．4．2　方法整合 27

2．4．3　回應時間 28

2．4．4　重構模型 28

2．4．5　知識融合 28

2．5　新舊知識 29

2．6　後續章節預告 29

參考文獻 29

第3章　資料探索 31

3．1　資料探索的目標 31

3．2　走進數據 32

3．3　描述性統計分析 34

3．3．1　單變數探索 35

3．3．2　多變數探索 36

3．4　數據視覺化 39

3．4．1　一個維度內資料頻率分佈的視覺化 39

3．4．2　直角坐標系內多變數的視覺化 43

3．4．3　高維資料通過投影的視覺化 48

3．5　資料探索導覽 50

參考文獻 51

第4章　分類 52

4．1　決策樹 52

4．1．1　演算法原理 53

4．1．2　演算法實現 59

4．1．3　小結 71

4．2　規則歸納 72

4．2．1　建立規則方法 73

4．2．2　演算法原理 74

4．2．3　演算法實現 77

4．2．4　小結 81

4．3　k 近鄰演算法 81

4．3．1　演算法原理 82

4．3．2　演算法實現 88

4．3．3　小結 91

4．4　樸素貝葉斯 91

4．4．1　演算法原理 93

4．4．2　演算法實現 100

4．4．3　小結 102

4．5　人工神經網路 102

4．5．1　演算法原理 105

4．5．2　演算法實現 108

4．5．3　小結 110

4．6　支持向量機 111

4．6．1　概念和術語 111

4．6．2　演算法原理 114

4．6．3　演算法實現 116

4．6．4　小結 122

4．7　集成學習模型 122

4．7．1　集體的智慧 123

4．7．2　演算法原理 124

4．7．3　演算法實現 126

4．7．4　小結 134

參考文獻 134

第5章　回歸方法 137

5．1　線性回歸 139

5．1．1　演算法原理 139

5．1．2　使用RapidMiner實戰的目標與資料 141

5．1．3　演算法實現 142

5．1．4　線性回歸建模要點 148

5．2　Logistic回歸 149

5．2．1　快速入門Logistic回歸 150

5．2．2　模型原理 151

5．2．3　模型實現 155

5．2．4　Logistic回歸小結 158

5．3　總結 158

參考文獻 158

第6章　關聯分析 160

6．1　挖掘關聯規則的基本概念 161

6．1．1　項集 162

6．1．2　生成關聯規則的一般步驟 164

6．2　Apriori演算法 166

6．2．1　使用Apriori演算法找出高頻項集 167

6．2．2　生成關聯規則 169

6．3　FP-Growth演算法 169

6．3．1　生成FP樹 170

6．3．2　高頻項集的生成 172

6．3．3　FP-Growth演算法實現 173

6．4　總結 176

參考文獻 176

第7章　聚類 178

7．1　聚類方法的種類 179

7．2　k均值聚類 182

7．2．1　k均值聚類原理 183

7．2．2　演算法實現 187

7．3　DBSCAN聚類 191

7．3．1　演算法原理 192

7．3．2　演算法實現 195

7．3．3　小結 197

7．4　SOM 197

7．4．1　演算法原理 199

7．4．2　演算法實現 202

7．4．3　小結 208

參考文獻 208

第8章　模型評估 210

8．1　混淆矩陣 210

8．2　ROC曲線和AUC 212

8．3　提升曲線 214

8．4　評估預測結果 217

8．5　總結 221

參考文獻 221

第9章　文本挖掘 222

9．1　文本挖掘演算法的原理 223

9．1．1　TF-IDF 223

9．1．2　術語和概念 225

9．2　使用聚類和分類演算法實現文本挖掘 229

9．2．1　實例1：關鍵字聚類 229

9．2．2　實例2：預測博客作者的性別 232

9．3　總結 241

參考文獻 242

第 10章　時間序列預測 243

10．1　基於資料的時序分析 245

10．1．1　樸素預測法 245

10．1．2　簡單平均法 246

10．1．3　移動平均法 246

10．1．4　加權移動平均法 247

10．1．5　指數平滑法 247

10．1．6　Holt雙參數指數平滑法． ． 248

10．1．7　Holt-Winter三參數指數平滑法 249

10．2　基於模型的預測方法 250

10．2．1　線性回歸 251

10．2．2　多項式回歸 252

10．2．3　考慮季節性的線性回歸模型 252

10．2．4　自回歸模型與ARIMA 254

10．2．5　基於RapidMiner的實現 254

10．3　總結 261

參考文獻 261

第 11 章異常檢測 262

11．1　異常檢測的基本概念 262

11．1．1　出現離群點的原因 262

11．1．2　異常檢測的方法 264

11．2　基於距離的離群點檢測方法 266

11．2．1　方法原理 267

11．2．2　方法實現 268

11．3　基於密度的離群點檢測方法 270

11．3．1　方法原理 270

11．3．2　方法實現 271

11．4　局部離群因數 272

11．5　總結 274

參考文獻 275

第 12章　特徵選擇 276

12．1　特徵選擇方法概覽 276

12．2　主成分分析 278

12．2．1　演算法原理 279

12．2．2　演算法實現 280

12．3　以資訊理論為基礎對數值型資料進行篩選 284

12．4　以卡方檢驗為基礎對類別型資料進行篩選 286

12．5　基於封裝器的特徵選擇 289

12．5．1　向後消除法以縮減數據集大小 290

12．5．2　哪些變數被消除了 292

12．6　總結 293

參考文獻 294

第 13章　RapidMiner入門 295

13．1　用戶操作介面以及介紹 295

13．1．1　圖形用戶操作介面的介紹 295

13．1．2　RapidMiner軟體的術語 296

13．2　資料導入和導出工具 299

13．3　資料視覺化工具 302

13．3．1　單一變數視覺化 304

13．3．2　二維數據視覺化 304

13．3．3　多維數據視覺化 304

13．4　資料轉換工具 305

13．5　資料抽樣與處理缺失值工具 309

13．6　優化工具 312

13．7　總結 317

參考文獻 317

資料挖掘演算法的比較 319