TensorFlow神經網絡到深度學習（簡體書）

前言

神經網絡是一門重要的機器學習技術，是一種類比人腦的神經網絡，以期實現類人工智能的機器學習技術。它是目前最為火熱的研究方向——深度學習的基礎，學習神經網絡不僅可以讓使用者掌握一門強大的機器學習方法，還可以更好地幫助用戶理解深度學習技術。

深度學習的概念由Hinton等人於2006年提出，深度學習的概念源於人工神經網絡的研究。含多個隱藏層的多層感知器就是一種深度學習結構，深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現資料的分散式特徵。此外，Lecun等人提出的卷積神經網絡是第一個真正多層結構學習算法，它利用空間相對關係減少參數數目以提高訓練性能。

本書以一種簡單、循序的方式先介紹神經網絡，接著進一步對深度學習進行介紹。本書對讀者沒有一定的前提要求，但是有一定的機器學習基礎能更好地理解本書。

本書編寫特色主要表現在以下幾個方面。

1．內容由淺到深，涵蓋知識全面

本書以介紹TensorFlow軟件為基礎，先對神經網絡進行介紹，再對深度學習進行介紹，內容循序漸進，涵蓋面廣。

2．易學易懂，實例豐富

本書將專業性較強的公式和理論轉化成通俗易懂的簡單邏輯描述語言，説明非專業者理解神經網絡與深度學習，每章都有相應的經典實例進行說明，內容豐富、實用，説明讀者快速領會知識要點。

3．學與用相結合，應用性強

本書提供了從單個神經元到對抗神經網絡，從有監督學習到非監督學習最後到強化學習，從簡單的資料分類到圖像分類等一系列前沿技術，具有超強的實用性，並且本書中的原始程式碼、資料集等讀者都可免費、輕鬆獲得。

本書共12章，每章的主要內容如下。

第1章介紹了TensorFlow軟件，主要包括TensorFlow特性、安裝環境、基本使用、變數、佇列、可視化等內容。

第2章介紹了計算機視覺與深度學習，主要包括計算機視覺、深度學習在視覺上的應用、計算機視覺的學習方式和未來趨勢、機器學習等內容。

第3章介紹了深度神經網絡的基礎，主要包括生物神經元、人工神經元、啟動函數、softmax處理分類問題、損失函數、梯度下降、優化函數、擬合等內容。

第4章介紹了全連接神經網絡，主要包括前饋神經網絡簡介、感知機、全連接、線性模型的局限性、多層網絡解決異域運算、全連接神經網絡的經典實戰等內容。

第5章介紹了卷積神經網絡，主要包括人類視覺原理、卷積運算、反卷積操作、反池化操作、卷積神經網絡的介紹、圖像資料處理等內容。

第6章介紹了高級卷積神經網絡，主要包括LeNet-5卷積神經網絡、AlexNet卷積神經網絡、VGGNet卷積神經網絡、Inception v3卷積神經網絡、ResNet卷積神經網絡等內容。

第7章介紹了迴圈神經網絡，主要包括RNN基礎概念和結構、RNN前後向傳播算法、迴圈神經網絡的梯度、LSTM單元、RNN的實現、自然語言建模與詞向量、LSTM實現語音辨識等內容。

第8章介紹了對抗神經網絡，主要包括理論知識、DCGAN網絡、InfoGAN網絡、WGAN-GP網絡、SRGAN網絡等內容。

第9章介紹了其他監督學習，主要包括支持向量機、樸素貝葉斯、決策樹、k近鄰算法等內容。

第10章介紹了非監督學習，主要包括主成分分析、k均值聚類、自組織映射神經網絡、受限玻爾茲曼機、譜聚類等內容。

第11章介紹了自動編碼機，主要包括自動編碼機原理、標準自動編碼機、稀疏自動編碼機、去噪自動編碼機、卷積自動編碼機等內容。

第12章介紹了強化學習，主要包括強化學習的概述、強化學習的學習過程、OpenAI Gym原理及應用、Q learning原理及應用、DQN原理及應用等內容。

本書適合TensorFlow初學者、深入研究TensorFlow軟件的開發者使用。隨書提供實例來源程式下載，讀者可以登錄華信教育資源網查找本書下載（須先註冊成為會員）。

本書由佛山科學技術學院張德豐編著，由於時間倉促，加之作者水準有限，書中疏漏之處在所難免。在此，期望得到各領域專家和廣大讀者的批評指正。

編著者

2021.1

目錄
第1章 走進TENSORFLOW 1
1．1 TensorFlow介紹 1
1．1．1 TensorFlow特性 1
1．1．2 誰可以使用TensorFlow 2
1．1．3 為什麼Google要開源這個
神器 3
1．2 TensorFlow的環境搭建 4
1．2．1 安裝環境介紹 4
1．2．2 安裝TensorFlow 5
1．2．3 Cuda和CuDNN的安裝 7
1．2．4 Geany開發環境 9
1．3 TensorFlow基本使用 10
1．3．1 計算圖 10
1．3．2 構建圖 10
1．3．3 在一個會話中啟動圖 11
1．3．4 互動式使用 12
1．3．5 Fetch 12
1．3．6 Feed 13
1．4 變數 13
1．5 TensorFlow的佇列 16
1．5．1 佇列的創建 16
1．5．2 執行緒同步與停止 19
1．5．3 佇列中資料的讀取 20
1．6 TensorBoard可視化 23
1．6．1 在TensorBoard中查看
圖結構 24
1．6．2 資料變化趨勢 25
第2章 計算機視覺與深度學習 28
2．1 計算機視覺 28
2．1．1 人類視覺的啟迪 28
2．1．2 計算機視覺的難點和
人工神經網絡 29
2．1．3 深度學習 30
2．1．4 前深度學習時代的
計算機視覺 31
2．1．5 仿生學角度看深度學習 31
2．1．6 應用深度學習解決計算機
視覺問題 32
2．2 深度學習在視覺上的應用 33
2．2．1 人臉識別 33
2．2．2 圖片問答問題 33
2．2．3 物體檢測問題 34
2．2．4 物體跟蹤 36
2．3 計算機視覺的學習方式和
未來趨勢 36
2．4 機器學習 37
2．4．1 機器學習發展的歷程 37
2．4．2 機器學習的步驟 38
2．4．3 機器學習的分類 38
2．4．4 機器學習的基本算法 40
第3章 深度神經網絡的基礎 42
3．1 生物神經元 42
3．2 人工神經元 43
3．2．1 人工神經元的數學模型 43
3．2．2 人工神經網絡 44
3．2．3 啟動函數 45
3．2．4 神經元之間的連接形式 46
3．2．5 人工神經網絡的分類 47
3．3 啟動函數 47
3．3．1 sigmoid啟動函數 47
3．3．2 tanh啟動函數 49
3．3．3 relu啟動函數 50
3．3．4 dropout啟動函數 53
3．4 softmax處理分類問題 54
3．4．1 什麼是softmax 54
3．4．2 softmax原理 54
3．5 損失函數 56
3．5．1 均值平方差 56
3．5．2 交叉熵 56
3．5．3 自訂損失函數 57
3．6 梯度下降法 59
3．6．1 梯度下降法的作用與分類 59
3．6．2 退化學習率 61
3．7 優化函數 62
3．7．1 隨機梯度下降優化算法 62
3．7．2 基於衝量優化算法 63
3．7．3 Adadelta優化算法 64
3．7．4 Adam優化算法 65
3．8 擬合 67
3．8．1 過擬合和欠擬合 68
3．8．2 正則化的方法 68
第4章 全連接神經網絡 72
4．1 前饋神經網絡簡介 72
4．2 感知機 74
4．2．1 感知機定義 74
4．2．2 學習策略 78
4．2．3 感知機學習算法 78
4．3 全連接 83
4．3．1 全連接結構 83
4．3．2 前向傳播算法 84
4．4 線性模型的局限性 87
4．5 多層網絡解決異域運算 91
4．6 全連接神經網絡的經典實戰 93

第5章 卷積神經網絡 99
5．1 人類視覺原理 99
5．2 卷積運算 100
5．2．1 卷積運算 101
5．2．2 卷積函數實現 102
5．2．3 標注圖像感興趣的區域 106
5．2．4 池化運算 107
5．2．5 加強卷積特徵提取 110
5．3 反卷積、反池化操作 111
5．3．1 反卷積操作 111
5．3．2 反池化操作 114
5．4 卷積神經網絡的介紹 117
5．4．1 卷積神經網絡的一般框架 117
5．4．2 卷積神經網絡的訓練 119
5．4．3 利用卷積神經網絡實現
資料集分類 121
5．5 圖像資料處理 126
5．5．1 圖像編碼處理 127
5．5．2 翻轉圖像 128
5．5．3 圖像色彩調整 129
5．5．4 圖像標準化處理 132
5．5．5 調整圖像大小 133
5．5．6 圖像的標注框 137
第6章 高級卷積神經網絡 140
6．1 LeNet-5卷積神經網絡 140
6．1．1 LeNet-5模型 140
6．1．2 TensorFlow 實現簡單的
卷積神經網絡 142
6．2 AlexNet卷積神經網絡 145
6．2．1 AlexNet概述 145
6．2．2 AlexNet結構 148
6．2．3 AlexNet實現 150
6．3 VGGNet卷積神經網絡 154
6．3．1 VGGNet模型結構 155
6．3．2 VGGNet實現 157
6．4 Inception v3卷積神經網絡 162
6．4．1 幾種 Inception模型 162
6．4．2 Inception v3原理及實現 163
6．5 ResNet卷積神經網絡 175
6．5．1 ResNet模型結構 175
6．5．2 ResNet實現 177
第7章 迴圈神經網絡 184
7．1 RNN基礎概念和結構 184
7．2 RNN前後向傳播算法 186
7．2．1 RNN前向傳播 186
7．2．2 RNN後向傳播 187
7．3 迴圈神經網絡的梯度 191
7．4 LSTM單元 193
7．4．1 LSTM單元基本結構 193
7．4．2 LSTM的變體 200
7．5 RNN的實現 201
7．6 自然語言建模與詞向量 214
7．6．1 統計學語言模型 214
7．6．2 獨熱編碼 217
7．6．3 詞向量與Word2vec 217
7．7 LSTM實現語音辨識 226
7．7．1 語音特徵介紹 226
7．7．2 算法流程 227
7．7．3 TensorFlow實現語音辨識 228
第8章 對抗神經網絡 235
8．1 理論知識 235
8．1．1 GAN網絡結構 235
8．1．2 GAN原理 236
8．1．3 基本架構 236
8．1．4 GAN 的特點及優缺點 237
8．2 DCGAN網絡 243
8．3 InfoGAN網絡 248
8．4 WGAN-GP網絡 255
8．4．1 WGAN網絡的理論 255
8．4．2 WGAN網絡的
改進WGAN-GP網絡 256
8．4．3 WGAN-GP網絡的實現 257
8．5 SRGAN網絡 260
8．5．1 超解析度技術 260
8．5．2 ESPCN網絡實現資料的
超解析度重建 261
第9章 其他監督學習 264
9．1 支持向量機 264
9．1．1 支援向量機的含義 264
9．1．2 線性不可分支援向量機與
核函數 273
9．1．3 SMO原理及實現 280
9．2 樸素貝葉斯 286
9．2．1 統計學知識 286
9．2．2 樸素貝葉斯的模型 287
9．2．3 樸素貝葉斯的推斷過程 287
9．2．4 樸素貝葉斯的參數估計 288
9．2．5 樸素貝葉斯算法過程 289
9．2．6 樸素貝葉斯的實現 290
9．3 決策樹 292
9．3．1 認識決策樹 293
9．3．2 ID3算法的介紹 294
9．3．3 C4．5算法的介紹 296
9．3．4 決策樹的實現 297
9．4 k近鄰算法 300
9．4．1 kNN算法三要素 300
9．4．2 kd樹實現原理 301
9．4．3 kNN算法的優缺點 302
9．4．4 kNN算法的實現 303
第10章 非監督學習 305
10．1 主成分分析 305
10．1．1 PCA思想 305
10．1．2 基於最小投影距離 306
10．1．3 基於最大投影方差 307
10．1．4 PCA算法流程 308
10．1．5 PCA的優缺點 308
10．1．6 PCA的實現 309
10．2 k均值聚類 312
10．2．1 距離測試 312
10．2．2 k均值聚類原理 317
10．2．3 傳統k均值算法流程 318
10．2．4 K-Means++聚類算法 322
10．3 自組織映射神經網絡 324
10．3．1 自組織映射算法 325
10．3．2 與k均值的比較 325
10．4 受限玻爾茲曼機 330
10．5 譜聚類 336
10．5．1 譜聚類的基礎知識 336
10．5．2 譜聚類之切圖聚類 339
10．5．3 譜聚類算法的實現 343
第11章 自動編碼機 345
11．1 自動編碼機原理 345
11．2 標準自動編碼機 346
11．3 稀疏自動編碼機 351
11．4 去噪自動編碼機 355
11．5 卷積自動編碼機 360
第12章 強化學習 366
12．1 強化學習的概述 366
12．2 強化學習的學習過程 367
12．3 OpenAI Gym原理及應用 369
12．4 Q learning原理及應用 371
12．5 DQN原理及應用 377
參考文獻 384