神經網絡與深度學習（簡體書）

IBM沃森研究院明星研究員、KDD知名學者撰寫，Philip S. Yu、Huan Liu、孫茂松、王斌等多位專家聯合推薦

任何能通過圖靈測試的人工智能都知道不應該通過這個測試。
——Ian McDonald
神經網絡是通過以類似人類神經元的方式處理學習模型中的計算單元來模擬人類神經系統以完成機器學習任務。神經網絡的宏偉願景是通過構建一些模擬人類神經系統計算架構的機器來創造人工智能，由於當今最快的計算機的計算能力也無法企及人腦計算能力，所以這顯然不是一項簡單的任務。神經網絡在20世紀五六十年代計算機出現後不久得到了迅速發展，Rosenblatt 的感知機算法被視作神經網絡的基石，這引起了人們對人工智能前景的早期關注和興奮。然而在這種早期的興奮過後，神經網絡對數據的渴求和計算過於密集的特性成為其大展宏圖的障礙，它度過了一段令人失望的時期。最終，在世紀之交，海量的可用數據以及不斷增長的計算能力使得神經網絡重振雄風，並在人們視線中以新的名稱——深度學習出現。雖然人工智能匹敵人類智能的那一天離我們還很遙遠，但在圖像識別、自動駕駛和博弈等特定領域，人工智能已經比肩甚至超過了人類智能。我們也很難預測人工智能將來的上限是什麼。例如，二十多年前，很少有計算機視覺專家會想到會有自動化系統能夠比人類更準確地執行圖像分類這種直觀的任務。
理論上，神經網絡能夠通過足夠的訓練數據學習任何數學函數，現在已知一些變體（如循環神經網絡）是圖靈完備的。圖靈完備是指在給定足夠的訓練數據的情況下，神經網絡可以擬合任何學習算法。其不足之處在於，即使是對於簡單的任務，往往也需要大量的訓練數據，這導致相應的訓練時間也增加了（如果我們首先假設有足夠的訓練數據）。例如，圖像識別對人類來說是一項簡單的任務，但即使在高性能系統中，其訓練時間也可能長達幾周。此外，還有與神經網絡訓練的穩定性相關的實際問題，這些問題甚至在如今都還沒有解決。然而，考慮到計算機的計算速度會隨著時間的推移而迅速提高，而且從根本上來說，更強大的計算範式（如量子計算）也即將出現，計算問題最終可能不會像想象的那樣難以解決。
雖然神經網絡的生物學類比是令人驚奇的，並且引發了與科幻小說的比較，但相比之下對神經網絡的數學理解則更平凡。神經網絡的抽象化可以被視為一種模塊化的方法，使基於輸入和輸出之間依賴關係的計算圖上的連續優化的學習算法成為可能。平心而論，這和控制理論中的傳統工作沒有太大區別——事實上，控制理論中的一些用於優化的方法與神經網絡中最基本的算法驚人地相似（歷史上也是如此）。然而，近年來大量的可用數據以及計算能力的提升，使得能夠對這些計算圖進行比以前有著更深的架構的實驗。由此帶來的成功改變了人們對深度學習潛力的廣泛認識。
本書的章節結構如下：
1 神經網絡的基礎知識：第1章討論神經網絡設計的基礎知識。許多傳統的機器學習模型可以理解為神經網絡學習的特殊情況。理解傳統機器學習和神經網絡之間的關係是理解後者的第一步。第2章用神經網絡對各種機器學習模型進行了模擬，旨在讓分析者了解神經網絡是如何挑戰傳統機器學習算法的極限的。
2 神經網絡的基本原理：第3章和第4章提供對訓練挑戰的更詳細的敘述。第5章和第6章介紹徑向基函數（RBF）網絡和受限玻爾茲曼機。
3 神經網絡的進階主題：深度學習最近的很多成功是各種領域的特定架構的結果，例如循環神經網絡和卷積神經網絡。第7章和第8章分別討論循環神經網絡和卷積神經網絡。第9章和第10章討論一些進階主題，如深度強化學習、神經圖靈機和生成對抗網絡。
我們所關注的內容中包含一些“被遺忘”的架構，如徑向基函數網絡和Kohonen自組織映射，因為它們在許多應用中具有潛力。本書是為研究生、研究人員和從業者寫的。許多練習和解決方案手冊都有助於課堂教學。在可能的情況下，本書突出以應用程序為中心的視角，以便讓讀者對該技術有所了解。
在本書中，向量或多維數據點都通過在字母上方加一條橫線來表示，如X或y。向量點積用居中的點表示，比如X·Y。矩陣用不帶橫線的斜體大寫字母表示，比如R。在本書中，對應整個訓練數據集的n×d矩陣代表n個d維數據，該矩陣用D表示。因此，D中的各個數據點是d維行向量。另外，每個分量代表一個數據點的向量通常是n維列向量，例如具有n個數據點作為類變量的n維列向量y。觀測值yi與預測值y∧i的區別在於變量頂部的揚抑符。

Charu C Aggarwal
美國紐約州約克敦海茨

譯者序
前言
致謝
作者簡介
第1章神經網絡概論111簡介1
12神經網絡的基本架構3
121單層計算網絡：感知機3
122多層神經網絡13
123多層網絡即計算圖15
13利用反向傳播訓練神經網絡16
14神經網絡訓練中的實際問題19
141過擬合問題19
142梯度消失與梯度爆炸問題22
143收斂問題22
144局部最優和偽最優22
145計算上的挑戰23
15復合函數的能力之謎23
151非線性激活函數的重要性25
152利用深度以減少參數26
153非常規網絡架構27
16常見網絡架構28
161淺層模型模擬基礎機器學習方法28
162徑向基函數網絡29
163受限玻爾茲曼機29
164循環神經網絡30
165卷積神經網絡31
166層次特征工程與預訓練模型32
17高級主題34
171強化學習34
172分離數據存儲和計算34
173生成對抗網絡35
18兩個基準35
181MNIST手寫數字數據庫35
182ImageNet數據庫36
19總結37
110參考資料說明37
1101視頻講座38
1102軟件資源39
111練習39
第2章基於淺層神經網絡的機器學習41
21簡介41
22二分類模型的神經架構42
221復習感知機42
222最小二乘回歸44
223邏輯回歸47
224支持向量機49
23多分類模型的神經架構50
231多分類感知機51
232WestonWatkins支持向量機52
233多重邏輯回歸（softmax分類器）53
234應用於多分類的分層softmax54
24反向傳播可以用於特征選擇和神經網絡的可解釋性54
25使用自編碼器進行矩陣分解55
251自編碼器的基本原則55
252非線性激活函數59
253深度自編碼器60
254應用於離群點檢測62
255當隱藏層比輸入層維數高時63
256其他應用63
257推薦系統：行索引到行值的預測65
258討論67
26word2vec：簡單神經架構的應用67
261連續詞袋的神經嵌入68
262skipgram模型的神經嵌入70
263word2vec（SGNS）是邏輯矩陣分解74
264原始skipgram模型是多項式矩陣分解76
27圖嵌入的簡單神經架構76
271處理任意數量的邊78
272多項式模型78
273與DeepWalk和node2vec的聯系78
28總結78
29參考資料說明79
210練習80
第3章深度神經網絡的訓練8231簡介82
32反向傳播的詳細討論83
321計算圖抽象中的反向傳播83
322前來拯救的動態規劃87
323使用激活後變量的反向傳播88
324使用激活前變量的反向傳播89
325不同激活函數的更新示例91
326以向量為中心的反向傳播的解耦視圖92
327多輸出節點及隱藏節點下的損失函數94
328小批量隨機梯度下降95
329用於解決共享權重的反向傳播技巧96
3210檢查梯度計算的正確性97
33設置和初始化問題98
331調整超參數98
332特征預處理99
333初始化100
34梯度消失和梯度爆炸問題101
341對梯度比例影響的幾何理解102
342部分解決：激活函數的選擇103
343死亡神經元和“腦損傷”104
35梯度下降策略105
351學習率衰減105
352基於動量的學習106
353參數特異的學習率108
354懸崖和高階不穩定性111
355梯度截斷112
356二階導數112
357Polyak平均118
358局部極小值和偽極小值119
36批歸一化120
37加速與壓縮的實用技巧123
371GPU加速123
372並行和分布式實現125
373模型壓縮的算法技巧126
38總結128
39參考資料說明128
310練習130
第4章讓深度學習器學會泛化132
41簡介132
42偏差方差權衡135
43模型調優和評估中的泛化問題138
431用留出法和交叉驗證法進行評估139
432大規模訓練中的問題140
433如何檢測需要收集更多的數據141
44基於懲罰的正則化141
441與注入噪聲的聯系142
442L1正則化143
443選擇L1正則化還是L2正則化143
444對隱藏單元進行懲罰：學習稀疏表示144
45集成方法145
451裝袋和下采樣145
452參數模型選擇和平均146
453隨機連接刪除146
454Dropout147
455數據擾動集成149
46早停149
47無監督預訓練150
471無監督預訓練的變體153
472如何進行監督預訓練154
48繼續學習與課程學習154
481繼續學習155
482課程學習156
49共享參數156
410無監督應用中的正則化157
4101基於值的懲罰：稀疏自編碼器157
4102噪聲注入：去噪自編碼器157
4103基於梯度的懲罰：收縮自編碼器158
4104隱藏層概率結構：變分自編碼器161
411總結166
412參考資料說明166
413練習168
第5章徑向基函數網絡169
51簡介169
52RBF網絡的訓練171
521訓練隱藏層171