機器學習原理及應用（簡體書）

機器學習是一門交叉學科，涉及概率論、統計學、凸優化等多個學科或分支，發展過程中還受到了生物學、經濟學的啟發。這樣的特性決定了機器學習具有廣闊的發展前景，但也正因如此，想要在短時間內“速成”機器學習是不現實的。
為了幫助讀者深入理解機器學習原理，本書以機器學習及其算法為主題，詳細介紹了算法中涉及的數學理論。此外，本書注重機器學習的實際應用，在理論介紹中穿插項目實例，幫助讀者掌握機器學習研究的方法。
本書分為19章。第1章為概述，主要介紹了機器學習的概念、組成、分類、模型評估方法，以及Scikitlearn(sklearn)模塊的基礎知識。第2~6章分別介紹了分類和回歸問題的常見模型，包括線性回歸與最大熵模型、k近鄰算法、決策樹模型、樸素貝葉斯分類器、支持向量機模型，每章最後均以一個實例結尾，使用sklearn模塊實現。第7章介紹集成學習框架，包括Bagging、Boosting以及Stacking的基本思想和具體算法。第8~10章主要介紹無監督算法，包括EM算法、降維算法以及聚類算法。第11章介紹神經網絡與深度學習，包括卷積神經網絡、循環神經網絡、生成對抗網絡、圖卷積神經網絡等基礎網絡。第7~11章最後也均以一個實例結尾。第12~19章分別為8個綜合項目案例，幫助讀者理解和應用前面各章所學理論。
本書希望帶領讀者從基礎出發，由淺入深，逐步掌握機器學習中的常見算法。在此基礎上，讀者將有能力根據實際問題決定使用何種算法，甚至可以查閱有關算法的最新文獻，為產品研發或項目研究鋪平道路。
為了更好地專注於機器學習的主題，書中涉及的數學和統計學基礎理論（如矩陣論、概率分布等）不會過多介紹。因此，如果讀者希望完全理解書中的理論推導，還需要對統計學、數學有一定基礎。書中的項目實例全部使用Python實現，在閱讀以前需要對Python編程語言及其科學計算模塊（如NumPy、SciPy等）有一定了解。
本書由呂云翔、王淥汀、袁琪、許麗華、王志鵬、唐佳偉、李紅雨、楊云飛、張凡、曾洪立編寫。
由於編者水平和能力有限，書中難免有疏漏之處。懇請各位同仁和廣大讀者給予批評指正。

前言
第1章機器學習概述
1.1機器學習的組成
1.2分類問題和回歸問題
1.3監督學習、半監督學習和
無監督學習
1.4生成模型和判別模型
1.5模型評估
1.5.1訓練誤差和泛化誤差
1.5.2過擬合和欠擬合
1.6正則化
1.7Scikitlearn模塊
1.7.1數據集
1.7.2模型選擇
1.8習題
第2章線性回歸及最大熵模型
2.1線性回歸
2.1.1一元線性回歸
2.1.2多元線性回歸
2.2廣義線性回歸
2.2.1邏輯回歸
2.2.2多分類邏輯回歸
2.2.3交叉熵損失函數
2.3最大熵模型
2.3.1最大熵模型的導出
2.3.2最大熵模型與邏輯回歸之間的
關係
2.4評價指標
2.4.1混淆矩陣
2.4.2準確率
2.4.3精確率與召回率
2.4.4PR曲線
2.4.5ROC曲線與AUC曲線
2.5實例：基於邏輯回歸實現乳腺癌
預測
2.6習題
第3章k近鄰算法
3.1k值的選取
3.2距離的度量
3.3快速檢索
3.4實例：基於k近鄰實現鳶尾花
分類
3.5習題
第4章決策樹模型
4.1特征選擇
4.1.1信息增益
4.1.2信息增益比
4.2決策樹生成算法CART
4.3決策樹剪枝
4.3.1預剪枝
4.3.2後剪枝
4.4實例：基於決策樹實現葡萄酒
分類
4.5習題
第5章樸素貝葉斯分類器
5.1極大似然估計
5.2樸素貝葉斯分類
5.3拉普拉斯平滑
5.4樸素貝葉斯分類器的極大似然
估計解釋
5.5實例：基於樸素貝葉斯實現垃圾
短信分類
5.6習題
第6章支持向量機模型
6.1最大間隔及超平面
6.2線性可分支持向量機
6.3合頁損失函數
6.4核技巧
6.5二分類問題與多分類問題
6.5.1一對一
6.5.2一對多
6.5.3多對多
6.6實例：基於支持向量機實現
葡萄酒分類
6.7習題
第7章集成學習
7.1偏差與方差
7.2Bagging及隨機森林
7.2.1Bagging
7.2.2隨機森林
7.3Boosting及AdaBoost
7.3.1Boosting
7.3.3AdaBoost
7.4提升樹
7.4.1殘差提升樹
7.4.2GBDT
7.4.3XGBoost
7.5Stacking
7.6實例：基於梯度下降樹實現
波士頓房價預測
7.7習題
第8章EM算法及其應用
8.1Jensen不等式
8.2EM算法
8.3高斯混合模型
8.4隱馬爾可夫模型
8.4.1計算觀測概率的輸出
8.4.2估計隱馬爾可夫模型的參數
8.4.3隱變量序列預測
8.5實例：基於高斯混合模型實現
鳶尾花分類
8.6習題
第9章降維算法
9.1主成分分析
9.1.1方差即協方差的無偏估計
9.1.2實例：基於主成分分析實現
鳶尾花數據降維
9.2奇異值分解
9.2.1奇異值分解的構造
9.2.2奇異值分解用於數據壓縮
9.2.3SVD與PCA的關係
9.2.4奇異值分解的幾何解釋
9.2.5實例：基於奇異值分解實現圖片
壓縮
9.3習題
第10章聚類算法
10.1距離度量
10.1.1閔可夫斯基距離
10.1.2餘弦相似度
10.1.3馬氏距離
10.1.4漢明距離
10.2層次聚類
10.3KMeans聚類
10.4KMedoids聚類
10.5DBSCAN
10.6實例：基於KMeans實現
鳶尾花聚類
10.7習題
第11章神經網絡與深度學習
11.1神經元模型
11.2多層感知機
11.3損失函數
11.4反向傳播算法
11.4.1梯度下降法
11.4.2梯度消失及梯度爆炸
11.5卷積神經網絡
11.5.1卷積
11.5.2池化
11.5.3網絡架構
11.6循環神經網絡
11.7生成對抗網絡
11.8圖卷積神經網絡
11.9深度學習發展
11.10實例：基於卷積神經網絡
實現手寫數字識別
11.10.1MINST數據集
11.10.2基於卷積神經網絡的手寫
數字識別
11.11習題
第12章案例1：基於回歸問題、
XGBoost的房價預測
12.1XGBoost模型介紹
12.2技術方案
12.2.1數據分析
12.2.2XGBoost模型參數
12.2.3調參過程
12.3完整代碼及結果展示
第13章案例2：影評數據分析與
電影推薦
13.1明確目標與數據準備
13.2工具選擇
13.3初步分析
13.3.1用戶角度分析
13.3.2電影角度分析
13.4電影推薦
第14章案例3：汽車貸款違約的
數據分析
14.1數據分析常用的Python
工具庫
14.2數據樣本分析
14.2.1數據樣本概述
14.2.2變量類型分析
14.2.3Python代碼實踐
14.3數據分析的預處理
14.3.1目標變量探索
14.3.2X變量初步探索
14.3.3連續變量的缺失值處理
14.3.4分類變量的缺失值處理
14.4數據分析的模型建立與模型
評估
14.4.1數據的預處理與訓練集劃分
14.4.2采用回歸模型進行數據分析
14.4.3采用決策樹模型進行數據
分析
14.4.4采用隨機森林模型優化
決策樹模型
第15章案例4：基於KNN模型預測
葡萄酒種類的數據分析與
可視化
15.1KNN模型的初級構建
15.2使用專業工具包構建KNN
模型
15.3數據可視化
第16章案例5：使用Keras進行人
臉關鍵點檢測
16.1深度學習模型
16.1.1數據集獲取
16.1.2卷積神經網絡的搭建與訓練
16.2模型評價
16.3訓練歷史可視化
第17章案例6：股價預測
17.1使用tsfresh進行升維和特征
工程
17.2程序設計思路
17.3程序設計步驟
17.3.1讀入數據，分析數據
17.3.2移窗
17.3.3升維
17.3.4方差過濾
17.3.5使用Adaboost模型進行回歸
預測
17.3.6預測結果分析
第18章案例7：用戶流失預警
18.1讀入數據
18.2數據預處理
18.3五折交叉驗證
18.4代入三種模型
18.5調整prob閾值，輸出精度
評估
第19章案例8：機器人最優路徑
走迷宮
19.1關鍵技術
19.1.1馬爾科夫決策過程
19.1.2Bellman方程
19.2程序設計步驟
19.2.1初始化迷宮地圖
19.2.2計算不同位置最優路徑
參考文獻