概率機器學習(基礎篇)（簡體書）

本書通過概率建模和貝葉斯決策理論的統一視角，詳細且與時俱進地介紹了機器學習（包括深度學習）的理論和方法。書中涵蓋了數學背景（包括線性代數和優化理論）、基礎的監督學習方法（包括線性回歸、邏輯回歸和深度神經網絡），以及更高級的主題（包括遷移學習和無監督學習）。章節末尾的練習讓讀者能夠應用所學知識，附錄部分則對書中使用的符號進行了說明。
本書源自作者2012年的著作《機器學習：概率視角》，它不僅僅是一個簡單的更新版本，更是一本全新的著作，反映了自2012年以來該領域的巨大發展，尤其是深度學習方面的進展。由於篇幅限制，新版分為上下兩卷：《概率機器學習：基礎篇》和《概率機器學習：進階篇》，本書是上卷基礎篇，下捲進階篇將繼續採用相同的概率方法，深入探討更高級的主題。
新版的另一個主要變化是所有的軟件代碼都使用Python而不是MATLAB來實現，新代碼使用了標準的Python庫，例如NumPy、Scikit-learn、JAX、PyTorch、TensorFlow等，這些代碼不需要本地安裝，它們可以在雲端筆記本中運行，這為書中討論的理論主題提供了實用的補充。

對本書的讚譽
譯者序
前言
第1章　導論1　
1.1　什麼是機器學習1
1.2　監督學習1
1.2.1　分類2
1.2.2　回歸7
1.2.3　過擬合和泛化10
1.2.4　“沒有免費的午餐”定理11
1.3　無監督學習11
1.3.1　聚類12
1.3.2　發現潛在的“變異因子”12
1.3.3　自監督學習13
1.3.4　評估無監督學習13
1.4　強化學習14
1.5　數據16
1.5.1　常見的圖像數據集16
1.5.2　常見的文本數據集18
1.5.3　離散輸入數據的預處理19
1.5.4　預處理文本數據20
1.5.5　處理缺失數據23
1.6　進一步討論23
1.6.1　機器學習與其他領域的關係23
1.6.2　本書的組織結構24
1.6.3　注意事項24

第一部分　理論基礎

第2章　概率：單變量模型26　
2.1　概述26
2.1.1　什麼是概率26
2.1.2　不確定性的類型26
2.1.3　概率的基本規則27
2.2　隨機變量28
2.2.1　離散隨機變量28
2.2.2　連續隨機變量29
2.2.3　相關隨機變量集30
2.2.4　獨立性和條件獨立性31
2.2.5　分佈的矩32
2.2.6　匯總統計信息的局限性*34
2.3　貝葉斯規則36
2.3.1　示例：病毒檢測37
2.3.2　示例：三門問題38
2.3.3　逆問題*39
2.4　伯努利分佈和二項分佈40
2.4.1　定義40
2.4.2　sigmoid函數41
2.4.3　二元邏輯回歸42
2.5　分類分佈和多項式分佈43
2.5.1　定義43
2.5.2　softmax函數44
2.5.3　多類邏輯回歸44
2.5.4　對數求和自然指數技巧46
2.6　單變量高斯分佈46
2.6.1　累積分佈函數46
2.6.2　概率密度函數47
2.6.3　回歸48
2.6.4　為什麼高斯分佈被廣泛使用49
2.6.5　作為限制情形的Dirac-δ函數49
2.7　其他常見的單變量分佈*50
2.7.1　學生t分佈50
2.7.2　柯西分佈51
2.7.3　拉普拉斯分佈52
2.7.4　貝塔分佈52
2.7.5　伽馬分佈53
2.7.6　經驗分佈53
2.8　隨機變量的變換*54
2.8.1　離散情況54
2.8.2　連續情況55
2.8.3　可逆變換（雙射）55
2.8.4　線性變換的矩57
2.8.5　卷積定理57
2.8.6　中心極限定理59
2.8.7　蒙特卡羅近似59
2.9　練習題60

第3章　概率：多元模型63　
3.1　多個隨機變量的聯合分佈63
3.1.1　協方差63
3.1.2　相關性63
3.1.3　不相關並不意味著獨立64
3.1.4　相關性並不意味著因果關係64
3.1.5　Simpson悖論65
3.2　多元高斯分佈66
3.2.1　定義66
3.2.2　馬哈拉諾比斯距離68
3.2.3　多元正態分佈的邊緣概率和條件概率*69
3.2.4　示例：條件二維高斯分佈69
3.2.5　示例：處理缺失值*70
3.3　線性高斯系統*71
3.3.1　高斯貝葉斯規則71
3.3.2　推導*71
3.3.3　示例：推理未知標量72
3.3.4　示例：推理未知向量74
3.3.5　示例：傳感器融合75
3.4　指數概率分佈族*76
3.4.1　定義76
3.4.2　示例76
3.4.3　對數配分函數為累積量生成函數77
3.4.4　指數概率分佈族的最大熵推導77
3.5　混合模型78
3.5.1　高斯混合模型78
3.5.2　伯努利混合模型80
3.6　概率圖模型*81
3.6.1　表示81
3.6.2　推理83
3.6.3　學習83
3.7　練習題84

第4章　統計學86　
4.1　概述86
4.2　最大似然估計86
4.2.1　定義86
4.2.2　最大似然估計的論證87
4.2.3　示例：伯努利分佈的最大似然估計88
4.2.4　示例：分類分佈的最大似然估計89
4.2.5　示例：單變量高斯分佈的最大似然估計89
4.2.6　示例：多元高斯分佈的最大似然估計90
4.2.7　示例：線性回歸的最大似然估計92
4.3　經驗風險最小化92
4.3.1　示例：最小化錯誤分類率93
4.3.2　代理損失93
4.4　其他估計方法*94
4.4.1　矩量法94
4.4.2　在線估計95
4.5　正則化96
4.5.1　示例：伯努利分佈的最大後驗估計97
4.5.2　示例：多元高斯分佈的最大後驗估計*97
4.5.3　示例：權重衰減99
4.5.4　使用驗證集選擇正則化因子100
4.5.5　交叉驗證100
4.5.6　提前終止法102
4.5.7　使用更多數據102
4.6　貝葉斯統計學*103
4.6.1　共軛先驗104
4.6.2　貝塔二項式模型104
4.6.3　狄利克雷多項式模型110
4.6.4　高斯高斯模型113
4.6.5　非共軛先驗116
4.6.6　可信區間117
4.6.7　貝葉斯機器學習119
4.6.8　計算問題122
4.7　頻率學派統計學*124
4.7.1　採樣分佈124
4.7.2　最大似然估計採樣分佈的高斯近似125
4.7.3　任何估計器採樣分佈的自舉法近似125
4.7.4　置信區間127
4.7.5　請注意：置信區間不可信128
4.7.6　偏差方差權衡129
4.8　練習題132

第5章　決策理論135　
5.1　貝葉斯決策理論135
5.1.1　基本概念135
5.1.2　分類問題137
5.1.3　ROC曲線138
5.1.4　精確率召回率曲線140
5.1.5　回歸問題142
5.1.6　概率預測問題144
5.2　貝葉斯假設檢驗145
5.2.1　示例：測試硬幣是否均勻146
5.2.2　貝葉斯模型選擇146
5.2.3　奧卡姆剃刀原理148
5.2.4　交叉驗證與邊緣可能性之間的聯繫149
5.2.5　信息標準150
5.3　頻率學派決策理論151
5.3.1　估計器的風險計算151
5.3.2　一致估計器153
5.3.3　可容許估計器153
5.4　經驗風險最小化154
5.4.1　經驗風險154
5.4.2　結構風險156
5.4.3　交叉驗證156
5.4.4　統計學習理論*157
5.5　頻率學派假設檢驗*158
5.5.1　似然比測試158
5.5.2　無效假設顯著性檢驗159
5.5.3　p-值160
5.5.4　被認為有害的p-值160
5.5.5　為什麼有人不堅持貝葉斯學派統計學理論161
5.6　練習題163

第6章　信息論165　
6.1　熵165
6.1.1　離散隨機變量的熵165
6.1.2　交叉熵167
6.1.3　聯合熵167
6.1.4　條件熵168
6.1.5　困惑度168
6.1.6　連續隨機變量的微分熵*169
6.2　相對熵*170
6.2.1　定義170
6.2.2　解釋170
6.2.3　示例：兩個高斯分佈之間的KL散度171
6.2.4　KL散度的非負性171
6.2.5　KL散度和最大似然估計172
6.2.6　正向KL與反向KL172
6.3　互信息*173
6.3.1　定義173
6.3.2　解釋174
6.3.3　示例174
6.3.4　條件互信息175
6.3.5　互信息作為“廣義相關係數”175
6.3.6　歸一化互信息176
6.3.7　最大信息係數177
6.3.8　數據處理不等式179
6.3.9　充分統計量179
6.3.10　法諾不等式*180
6.4　練習題180

第7章　線性代數183　
7.1　概述183
7.1.1　符號說明183
7.1.2　向量空間185
7.1.3　向量和矩陣的範數187
7.1.4　矩陣的性質188
7.1.5　特殊類型的矩陣190
7.2　矩陣乘法193
7.2.1　向量向量的乘積193
7.2.2　矩陣向量的乘積193
7.2.3　矩陣矩陣的乘積194
7.2.4　應用：數據矩陣的操作195
7.2.5　克羅內克乘積*198
7.2.6　愛因斯坦求和*198
7.3　矩陣求逆199
7.3.1　方陣的逆199
7.3.2　舒爾補*199
7.3.3　矩陣求逆引理*200
7.3.4　矩陣行列式引理*201
7.3.5　應用：推導多元正態分佈的條件*201
7.4　特徵值分解202
7.4.1　基礎202
7.4.2　矩陣對角化203
7.4.3　對稱矩陣的特徵值和特徵向量203
7.4.4　二次型的幾何特性204
7.4.5　標準化和白化數據204
7.4.6　冪方法206
7.4.7　矩陣收縮206
7.4.8　特徵向量優化二次型207
7.5　奇異值分解207
7.5.1　基礎207
7.5.2　奇異值分解與特徵值分解的聯繫208
7.5.3　偽逆208
7.5.4　奇異值分解與矩陣的值域空間和零空間*209
7.5.5　截斷奇異值分解209
7.6　其他矩陣分解*210
7.6.1　LU分解211
7.6.2　正交三角分解211
7.6.3　Cholesky分解212
7.7　求解線性方程組*212
7.7.1　求解方陣線性方程組213
7.7.2　求解欠約束線性方程組213
7.7.3　求解過度約束線性方程組214
7.8　矩陣微積分215
7.8.1　導數215
7.8.2　梯度215
7.8.3　方向導數216
7.8.4　全導數*216
7.8.5　雅可比矩陣216
7.8.6　黑塞矩陣217
7.8.7　常用函數的梯度218
7.9　練習題219

第8章　優化理論220　
8.1　概述220
8.1.1　局部優化與全域優化220
8.1.2　約束優化與無約束優化221
8.1.3　凸優化與非凸優化222
8.1.4　平滑優化與非平滑優化224
8.2　一階方法226
8.2.1　下降方向226
8.2.2　步長227
8.2.3　收斂速度228
8.2.4　動量方法229
8.3　二階方法230
8.3.1　牛頓法231
8.3.2　BFGS和其他擬牛頓方法232
8.3.3　信任區域方法232
8.4　隨機梯度下降233
8.4.1　應用於有限和問題234
8.4.2　示例：用於擬合線性回歸的隨機梯度下降234
8.4.3　選擇步長235
8.4.4　迭代平均237
8.4.5　方差縮減技術*237
8.4.6　預處理隨機梯度下降238
8.5　約束優化241
8.5.1　拉格朗日乘子241
8.5.2　KKT條件242
8.5.3　線性規劃243
8.5.4　二次型規劃244
8.5.5　混合整數線性規劃*245
8.6　近端梯度法*245
8.6.1　投影梯度下降246
8.6.2　1範數正則化因子的近端算子247
8.6.3　量化的近端算子247
8.6.4　增量近端方法248
8.7　邊界優化*248
8.7.1　通用算法248
8.7.2　期望最大化算法250
8.7.3　示例：高斯混合模型的期望最大化251
8.8　黑盒和無梯度優化255
8.9　練習題255

第二部分　線性模型

第9章　線性判別分析258　
9.1　概述258
9.2　高斯判別分析258
9.2.1　二次型決策邊界258
9.2.2　線性決策邊界259
9.2.3　線性判別分析與邏輯回歸之間的聯繫260
9.2.4　模型擬合261
9.2.5　最近鄰質心分類器262
9.2.6　Fisher線性判別分析*262
9.3　樸素貝葉斯分類器266
9.3.1　示例模型266
9.3.2　模型擬合267
9.3.3　貝葉斯樸素貝葉斯267
9.3.4　樸素貝葉斯與邏輯回歸之間的聯繫268
9.4　生成式分類器與判別式分類器的比較269
9.4.1　判別式分類器的優點269
9.4.2　生成式分類器的優點269
9.4.3　處理缺失特徵270
9.5　練習題270

第10章　邏輯回歸271　
10.1　概述271
10.2　二元邏輯回歸271
10.2.1　線性分類器271
10.2.2　非線性分類器272
10.2.3　最大似然估計274
10.2.4　隨機梯度下降276
10.2.5　感知器算法277
10.2.6　迭代重加權最小二乘法277
10.2.7　最大後驗估計279
10.2.8　標準化280
10.3　多項式邏輯回歸280
10.3.1　線性分類器和非線性分類器281
10.3.2　最大似然估計281
10.3.3　基於梯度的優化283
10.3.4　邊界優化283
10.3.5　最大後驗估計284
10.3.6　最大熵分類器285
10.3.7　層次分類286
10.3.8　處理大量的類287
10.4　魯棒邏輯回歸*288
10.4.1　似然的混合模型289
10.4.2　雙穩態損失289
10.5　貝葉斯邏輯回歸*291
10.5.1　拉普拉斯近似292
10.5.2　近似後驗預測294
10.6　練習題295

第11章　線性回歸297　
11.1　概述297
11.2　最小二乘線性回歸297
11.2.1　術語297
11.2.2　最小二乘估計298
11.2.3　計算最大似然估計的其他方法301
11.2.4　測量擬合優度304
11.3　嶺回歸305
11.3.1　計算最大後驗估計306
11.3.2　嶺回歸與主成分分析之間的聯繫307
11.3.3　選擇正則化因子的強度308
11.4　套索回歸309
11.4.1　拉普拉斯先驗的最大後驗估計309
11.4.2　為什麼1正則化產生稀疏解310
11.4.3　硬閾值與軟閾值310
11.4.4　正則化路徑312
11.4.5　最小二乘法、套索回歸、嶺回歸和子集選擇的比較313
11.4.6　變量選擇一致性314
11.4.7　群組套索回歸315
11.4.8　彈性網絡317
11.4.9　優化算法318
11.5　回歸樣條法*320
11.5.1　B-樣條基函數320
11.5.2　使用樣條基函數擬合線性模型322
11.5.3　平滑樣條法322
11.5.4　廣義加性模型322
11.6　魯棒線性回歸*322
11.6.1　拉普拉斯似然分佈323
11.6.2　學生t似然分佈324
11.6.3　Huber損失324
11.6.4　RANSAC324
11.7　貝葉斯線性回歸*325
11.7.1　先驗概率325
11.7.2　後驗概率325
11.7.3　示例325
11.7.4　計算後驗預測327
11.7.5　中心化的優勢328
11.7.6　處理多重共線性329
11.7.7　自動相關性確定*330
11.8　練習題330

第12章　廣義線性模型*333　
12.1　概述333
12.2　示例333
12.2.1　線性回歸333
12.2.2　二項回歸334
12.2.3　泊松回歸334
12.3　具有非規範鏈接函數的廣義線性模型335
12.4　最大似然估計336
12.5　示例：預測保險理賠336

第三部分　深度神經網絡
第13章　結構化數據的神經網絡340　
13.1　概述340
13.2　多層感知器341
13.2.1　XOR問題341
13.2.2　可微的多層感知器342
13.2.3　激活函數343
13.2.4　示例模型343
13.2.5　深度的重要性347
13.2.6　“深度學習革命”348
13.2.7　與生物學的聯繫349
13.3　反向傳播351
13.3.1　正向模式與反向模式的差異351
13.3.2　多層感知器的反向模式微分352
13.3.3　普通層的向量雅可比乘積354
13.3.4　計算圖356
13.4　訓練神經網絡357
13.4.1　調整學習率358
13.4.2　梯度消失和梯度爆炸358
13.4.3　非飽和激活函數359
13.4.4　殘差連接361
13.4.5　參數初始化362
13.4.6　並行訓練363
13.5　正則化364
13.5.1　提前終止364
13.5.2　權重衰減365
13.5.3　稀疏深度神經網絡365
13.5.4　丟棄法365
13.5.5　貝葉斯神經網絡366
13.5.6　（隨機）梯度下降的正則化效應*367
13.6　其他類型的前饋網絡*368
13.6.1　徑向基函數網絡368
13.6.2　專家混合模型370
13.7　練習題373

第14章　用於圖像處理的神經網絡374　
14.1　概述374
14.2　普通層375
14.2.1　卷積層375
14.2.2　池化層380
14.2.3　整合所有部分380
14.2.4　歸一化層381
14.3　圖像分類的通用架構383
14.3.1　LeNet383
14.3.2　AlexNet385
14.3.3　GoogLeNet385
14.3.4　ResNet385
14.3.5　DenseNet387
14.3.6　神經架構搜索388
14.4　其他形式的卷積*388
14.4.1　空洞卷積388
14.4.2　轉置卷積389
14.4.3　深度可分離卷積390
14.5　使用卷積神經網絡解決其他判別式視覺任務*391
14.5.1　圖像標記391
14.5.2　目標檢測391
14.5.3　實例分割392
14.5.4　語義分割393
14.5.5　人體姿態估計394
14.6　通過反轉卷積神經網絡生成圖像*395
14.6.1　將經過訓練的分類器轉換為生成模型395
14.6.2　圖像先驗396
14.6.3　可視化卷積神經網絡學習到的特徵397
14.6.4　Deep Dream397
14.6.5　神經風格遷移399

第15章　用於序列處理的神經網絡402　
15.1　概述402
15.2　循環神經網絡402
15.2.1　vec2seq：序列生成402
15.2.2　seq2vec：序列分類404
15.2.3　seq2seq：序列翻譯405
15.2.4　教師強制407
15.2.5　時序反向傳播407
15.2.6　梯度消失和梯度爆炸408
15.2.7　門控和長期記憶409
15.2.8　波束搜索411
15.3　一維卷積神經網絡412
15.3.1　用於序列分類的一維卷積神經網絡412
15.3.2　用於序列生成的因果一維卷積神經網絡413
15.4　注意力414
15.4.1　作為軟字典查找的注意力414
15.4.2　作為非參數化注意力的核回歸415
15.4.3　參數化注意力416
15.4.4　基於注意力機制的seq2seq417
15.4.5　基於注意力機制的seq2vec：文本分類418
15.4.6　基於注意力機制的seq+seq2vec：文本對分類418
15.4.7　軟注意力與硬注意力420
15.5　Transformer421
15.5.1　自注意力421
15.5.2　多頭注意力422
15.5.3　位置編碼423
15.5.4　整合所有部分424
15.5.5　比較Transformer、CNN和RNN425
15.5.6　用於圖像處理的Transformer*426
15.5.7　其他Transformer變體*427
15.6　高效Transformer*427
15.6.1　固定的不可學習的局部注意力模式427
15.6.2　可學習的稀疏注意力模式427
15.6.3　記憶和循環方法428
15.6.4　低秩和核方法428
15.7　語言模型和無監督表示學習430
15.7.1　語言模型嵌入430
15.7.2　Transformer的雙向編碼器表示431
15.7.3　生成式預訓練Transformer434
15.7.4　文本到文本的轉換Transformer435
15.7.5　討論435

第四部分　非參數化模型
第16章　基於樣例的方法438
16.1　K-最近鄰分類438
16.1.1　示例438
16.1.2　維度災難440
16.1.3　降低速度和內存要求440
16.1.4　開放集識別441
16.2　學習距離度量442
16.2.1　線性和凸方法442
16.2.2　深度度量學習443
16.2.3　分類損失444
16.2.4　排名損失444
16.2.5　加速排名損失優化446
16.2.6　深度度量學習的其他訓練技巧448
16.3　核密度估計448
16.3.1　密度核449
16.3.2　Parzen窗口密度估計器450
16.3.3　如何選擇帶寬參數450
16.3.4　從核密度估計到K-最近鄰分類451
16.3.5　核回歸452

第17章　核方法*454　
17.1　Mercer核454
17.1.1　Mercer定理455
17.1.2　一些流行的Mercer核455
17.2　高斯過程459
17.2.1　無噪聲觀測459
17.2.2　噪聲觀測461
17.2.3　與核回歸的比較461
17.2.4　權重空間與函數空間462
17.2.5　數值問題462
17.2.6　估計核463
17.2.7　用於分類的高斯過程465
17.2.8　與深度學習的聯繫466
17.2.9　將高斯過程擴展到大型數據集467
17.3　支持向量機468
17.3.1　大間距分類器469
17.3.2　對偶問題470
17.3.3　軟間距分類器472
17.3.4　核技巧473
17.3.5　將支持向量機的輸出轉換為概率473
17.3.6　與邏輯回歸的聯繫473
17.3.7　支持向量機的多類別分類474
17.3.8　如何選擇正則化因子C475
17.3.9　核嶺回歸476
17.3.10　用於回歸的支持向量機477
17.4　稀疏向量機479
17.4.1　相關向量機479
17.4.2　稀疏核方法和稠密核方法的比較479
17.5　練習題482

第18章　樹、森林、裝袋法和提升法483　
18.1　分類和回歸樹483
18.1.1　模型定義483
18.1.2　模型擬合484
18.1.3　正則化485
18.1.4　處理缺失的輸入特性486
18.1.5　優點和缺點486
18.2　集成學習487
18.2.1　堆疊法487
18.2.2　集成不是貝葉斯模型平均488
18.3　裝袋法488
18.4　隨機森林489
18.5　提升法490
18.5.1　前向分段加法建模491
18.5.2　二次型損失和最小二乘提升法491
18.5.3　指數損失和AdaBoost491
18.5.4　logitBoost494
18.5.5　梯度提升算法495
18.6　樹集成的解釋498
18.6.1　特徵重要性498
18.6.2　部分依賴關係圖499

第五部分　其他的機器學習方法

第19章　基於少量標記樣例的學習502　
19.1　數據增強502
19.1.1　示例502
19.1.2　理論論證503
19.2　遷移學習503
19.2.1　微調503
19.2.2　適配器504
19.2.3　監督預訓練505
19.2.4　無監督預訓練506
19.2.5　域自適應510
19.3　半監督學習511
19.3.1　自我訓練和偽標簽512
19.3.2　熵最小化512
19.3.3　協同訓練514
19.3.4　圖上的標簽傳播515
19.3.5　一致性正則化516
19.3.6　深度生成式模型517
19.3.7　結合自監督和半監督學習520
19.4　主動學習521
19.4.1　決策理論方法521
19.4.2　信息理論方法521
19.4.3　批次主動學習522
19.5　元學習522
19.5.1　模型不可知的元學習522
19.6　少量樣本學習523
19.6.1　匹配網絡524
19.7　弱監督學習525
19.8　練習題526

第20章　數據降維527　
20.1　主成分分析527
20.1.1　示例527
20.1.2　算法的推導528
20.1.3　計算問題531
20.1.4　選擇潛在維度的數量532
20.2　因子分析534
20.2.1　生成式模型534
20.2.2　概率主成分分析536
20.2.3　FA/PPCA的期望最大化算法537
20.2.4　參數的不可識別性539
20.2.5　非線性因子分析540
20.2.6　因子分析器的混合模型540
20.2.7　指數族因子分析541
20.2.8　配對數據的因子分析模型543
20.3　自動編碼器545
20.3.1　瓶頸自動編碼器545
20.3.2　去噪自動編碼器546
20.3.3　收縮式自動編碼器547
20.3.4　稀疏自動編碼器547
20.3.5　變分自動編碼器548
20.4　流形學習552
20.4.1　什麼是流形553
20.4.2　流形假設553
20.4.3　流形學習的方法554
20.4.4　多維尺度變換554
20.4.5　Isomap557
20.4.6　核主成分分析558
20.4.7　最大方差展開559
20.4.8　局部線性嵌入560
20.4.9　拉普拉斯特徵映射560
20.4.10　t-SNE563
20.5　詞嵌入566
20.5.1　潛在語義分析/索引566
20.5.2　word2vec568
20.5.3　GloVe569
20.5.4　單詞類比570
20.5.5　單詞嵌入的RAND-WALK模型571
20.5.6　上下文單詞嵌入571
20.6　練習題572

第21章　聚類574　
21.1　概述574
21.1.1　評價聚類方法的輸出574
21.2　層次聚合聚類576
21.2.1　算法576
21.2.2　示例578
21.2.3　擴展579
21.3　K-均值聚類579
21.3.1　算法580
21.3.2　示例580
21.3.3　向量量化581
21.3.4　K-均值聚類++算法582
21.3.5　K-中心點算法582
21.3.6　加速技巧583
21.3.7　選擇簇數K583
21.4　使用混合模型進行聚類586
21.4.1　高斯混合模型587
21.4.2　伯努利混合模型591
21.5　譜聚類591
21.5.1　歸一化切割591
21.5.2　圖拉普拉斯算子的特徵向量編碼聚類591
21.5.3　示例592
21.5.4　與其他方法的聯繫592
21.6　雙聚類593
21.6.1　基本雙聚類594
21.6.2　嵌套劃分模型594

第22章　推薦系統597　
22.1　明確反饋597
22.1.1　數據集598
22.1.2　協同過濾598
22.1.3　矩陣分解598
22.1.4　自動編碼器600
22.2　隱式反饋601
22.2.1　貝葉斯個性化排序602
22.2.2　因子分解機602
22.2.3　神經矩陣分解603
22.3　利用輔助信息604
22.4　“探索利用”權衡605

第23章　圖嵌入606　
23.1　概述606
23.2　圖嵌入作為編碼器/解碼器問題607
23.3　淺層圖嵌入608
23.3.1　無監督嵌入609
23.3.2　基於距離：歐幾裡得方法609
23.3.3　基於距離：非歐幾裡得方法609
23.3.4　基於外積：矩陣分解方法610
23.3.5　基於外積：skip-gram方法611
23.3.6　有監督嵌入612
23.4　圖神經網絡613
23.4.1　消息傳遞圖神經網絡613
23.4.2　譜圖卷積614
23.4.3　空間圖卷積614
23.4.4　非歐幾裡得圖卷積615
23.5　深度圖嵌入616
23.5.1　無監督嵌入616
23.5.2　半監督嵌入617
23.6　應用618
23.6.1　無監督的應用618
23.6.2　有監督的應用620

附錄　符號對照表621
參考文獻628