速通機器學習（簡體書）

序

機器學習是人工智能領域最活躍的分支之一，作為多學科交叉的重要工具，為計算機領域解決實際學習問題提供了理論支撐與應用算法。近年來，機器學習在互聯網應用中嶄露頭角，計算機視覺、自然語言處理、推薦系統、搜索系統等積累了大量的數據和豐富的場景，促進了包括機器學習在內的諸學科的發展與繁榮。與此同時，機器學習的快速發展，也讓我們切實領略了人工智能給人類生活帶來各種改變的潛力。
這是一本涵蓋機器學習現有重要領域和關鍵算法的讀物，主要面向人工智能、機器學習、模式識別、數據挖掘、計算機應用、數學和統計學等領域的研究生和相關技術人員。這本書為我們介紹了經典機器學習、深度學習的常見模型，涉及領域包括圖像處理、自然語言處理、推薦系統等。
不同於側重理論的機器學習讀物，本書作者摒棄了復雜煩瑣的數學公式和理論推導，轉而采用對各類知識點給出應用實例和繪制圖表等方式進行講解。同時，書中蘊含了作者對機器學習理論及各類模型的內在關係的理解與思考，並通過細致的對比和說明，透徹地講述了不同概念之間的傳承與發展，使讀者可以快速領略機器學習的精髓並掌握一定的自學能力。
本書作者勤於思考、關注技術發展，在工作中積累了豐富的機器學習實戰經驗，這些經驗正是本書的靈感和和創意來源。難能可貴的是，書中的大量示例均源於作者親身參與的項目，對讀者具有借鑒意義，這也是本書的亮點之一。特此推薦。

中國科學院院士 樊文飛

前言

近十年移動互聯網的蓬勃發展，催生出了無數優秀的企業和現象級的產品，這些產品擁有龐大的用戶群，且每時每刻都在產生海量的數據。隨著數據的積累，人們開始思考如何從這些數據中獲得更好的產品服務、實現更高的商業價值。
機器學習作為一項新興技術，可以對文本、圖像、語音、行為等數據進行分析，探尋數據背後的規律，並根據這些規律對未來進行預測。不少新興公司將機器學習技術與海量的數據結合起來，開發出大量的新產品（例如短視頻推薦、圖片美化、在線教育等），並取得了巨大的成功。毫不夸張地說，這些成功只是機器學習舞臺的序章，未來會有更加豐富的場景等待被機器學習賦能。
本書內容
與其他計算機技術相比，機器學習涉及的數學知識，特別是微積分和統計學知識比較多，並且有一定的入行門檻，對初入此領域的人來說不是那麼友好。而國內現階段的一些相關書籍，要麼過於學術化、語言深奧、包含大量數學公式，讓人望而卻步，要麼是編程技術手冊，缺少對原理的講解和對技術的深入分析。雖然互聯網上有不少學習資料，但過於零散、系統性不足，不利於初學者建立知識體系。基於此現狀，筆者萌生了寫一本面向初學者的機器學習圖書的想法，經過近兩年的努力，終於完成了這項並不輕松的“工程”。
本書有以下特色：面向初學者，語言通俗易懂，沒有過於學術化的表述；對各類機器學習技術背後的原理進行了深入的分析，同時涉及很多相關崗位的面試要點，可作為面試參考書閱讀；結合筆者在實際工作中遇到的問題，討論了很多可落地的和具有實用性的技術創新思路，涉及的知識點可以給讀者的工作帶來啟發。
鑒於筆者的精力和能力有限，書中難免會有紕漏，望同行和讀者指正。
讀者服務
如果您在閱讀本書的過程中有任何疑問，都可以發送電子郵件與筆者共同探討。
您可以訪問B站的個人空間，觀看人工智能技術相關視頻。
您也可以掃描本書封底的二維碼，關注博文視點微信客服號，獲取更多人工智能圖書信息及相關資源等。

盧 菁
2021年3月

第1章　數據的量化和特征提取 1
1.1　機器學習概述 1
1.2　特征提取 2
1.3　向量距離計算 6
第2章　線性回歸 12
2.1　線性回歸的基本概念 13
2.2　損失函數和梯度下降法 14
2.3　訓練集和測試集 19
2.4　多項式回歸 21
2.5　線性回歸的高級技巧 23
2.5.1　特征敏感性研究 23
2.5.2　損失函數的選擇 24
第3章　邏輯回歸 27
3.1　邏輯回歸的基本原理 28
3.2　交叉熵和KL距離 32
3.2.1　KL距離 32
3.2.2　梯度下降法 34
3.2.3　上采樣和下采樣 36
3.3　線性不可分及其解決方案 38
3.4　L1正則和L2正則 39
3.5　分類模型的評價標準 43
3.6　邏輯回歸的特征提升技巧 47
3.6.1　特征歸一化 47
3.6.2　特征分段 49
3.7　深入理解損失函數和邏輯函數 51
第4章　因子分解模型 55
4.1　基本原理和特征交叉 55
4.1.1　基本原理 55
4.1.2　特征交叉簡化 58
4.1.3　參數學習 59
4.2　因子分解模型和矩陣分解 61
第5章　經典分類模型 63
5.1　支持向量機 63
5.1.1　支持向量機的基本原理 63
5.1.2　支持向量機和邏輯回歸的比較 68
5.2　核方法 70
5.2.1　核函數 70
5.2.2　核函數在支持向量機中的應用 72
5.3　樸素貝葉斯 73
5.3.1　樸素貝葉斯原理 73
5.3.2　樸素貝葉斯的參數估計 76
5.4　維數災難 78
5.5　奧卡姆剃刀定律的應用 82
5.6　經驗風險、期望風險和結構風險 83
第6章　無監督學習 85
6.1　K-Means聚類 86
6.1.1　K-Means算法的基本原理 86
6.1.2　改進型K-Means算法 88
6.1.3　K-Means算法和邏輯回歸的結合應用 91
6.2　主題模型 92
6.2.1　LDA模型的原理 93
6.2.2　LDA模型的訓練 95
第7章　集成學習 100
7.1　決策樹 100
7.2　隨機森林 105
7.3　GBDT 108
第8章　深度神經網絡 113
8.1　BP神經網絡的基本原理 113
8.2　多分類與Softmax函數 118
8.3　梯度下降法和鏈式法則 120
8.4　度量學習 125
第9章　神經網絡調優 130
9.1　激活函數選型 131
9.2　權重初始化 135
9.3　改進型梯度下降法 137
9.3.1　隨機梯度下降法 138
9.3.2　鞍點問題 141
9.3.3　梯度下降法的優化 142
9.4　過擬合解決方案 145
9.4.1　正則化 145
9.4.2　Dropout 146
9.4.3　提前終止 147
9.4.4　批標準化和層標準化 148
9.4.5　Shortcut 151
9.4.6　標簽平滑 151
9.4.7　人工制造數據 152
第10章　自然語言處理 154
10.1　自然語言處理模型 154
10.2　one-hot編碼和embedding技術 156
10.3　哈夫曼樹和負采樣 161
10.3.1　哈夫曼樹 161
10.3.2　負采樣 163
10.4　Word2vec的應用 165
10.5　fastText模型的原理及應用 166
第11章　卷積神經網絡 169
11.1　卷積層和池化層 169
11.2　卷積神經網絡在圖像處理中的應用 177
11.3　卷積神經網絡中的批標準化 179
11.4　TextCNN的原理及應用 180
第12章　深入卷積層 185
12.1　1 × 1卷積 185
12.2　小尺寸卷積 186
12.3　寬度卷積和Inception 187
12.4　Depthwise卷積和Pointwise卷積 189
12.5　特征通道加權卷積 193
第13章　循環神經網絡和LSTM模型 196
13.1　循環神經網絡模型詳解 196
13.1.1　循環神經網絡的基本原理 196
13.1.2　循環神經網絡存在的一些問題 199
13.2　LSTM模型詳解 202
13.3　LSTM模型的改進和應用 206
13.4　CTC算法 208
第14章　Attention模型和Transformer模型 210
14.1　Attention模型詳解 210
14.1.1　注意力機制的基本原理 210
14.1.2　Attention模型概述 212
14.1.3　Attention模型的改進形式 214
14.1.4　Self-Attention模型 215
14.1.5　Multi-Head Attention模型 217
14.2　Transformer模型原理 219
14.3　BERT模型及應用 221