深度學習程序設計實戰（簡體書）

本書以Python語言和Tensorflow為工具，由淺入深地講述了深度學習程序設計的基本原理、算法和思考問題的方法，內容包括自頂向下的程序設計、遞歸程序設計、面向對象的程序設計、反向傳播算法、三層神經網絡、卷積神經網絡、循環神經網絡、生成式對抗網絡和目標檢測等。本書重在研究代碼背後深刻的計算機理論和數學原理，試圖說明代碼是對理論和思想的實現手段，而不是目的。學以致用是本書的宗旨，提高讀者編程水平和動手能力是本書的目的。本書通過大量有趣的實例，說明了理論對深度學習程序設計實踐的指導意義。

中國通訊協會5G+行業應用培訓指導用書

序

前言


第1 章 程序設計方法...00

1.1 自頂向下的程序設計...00

1.1.1 問題分解和自頂向下的程序設計方法...00

1.1.2 五猴分桃問題...00

1.1.3 猜姓氏問題...00

1.1.4 囚犯問題...00

1.1.5 撲克牌問題...0


1.2 遞歸程序設計...0

1.2.1 河內塔問題...0

1.2.2 兔子問題...0

1.2.3 字符串匹配問題...0

1.2.4 組合問題...0

1.2.5 人字形鐵路問題...0


1.3 面向對象的程序設計...0

1.3.1 方法重定義和分數...0

1.3.2 二十四點問題...0


1.4 結束語...0


第2 章 反向傳播算法...0

2.1 導數和導數的應用...0

2.1.1 導數...0

2.1.2 梯度下降法求函數的最小值...0

2.1.3 牛頓法求平方根...0

2.1.4 複合函數和鏈式法則...0

2.1.5 多元函數和全微分方程...0

2.1.6 反向傳播算法...0

2.1.7 梯度...0

2.1.8 分段求導...0


2.2 自動求導和人工智能框架...0

2.2.1 表達式和自動求偏導...0

2.2.2 表達式求值...0

2.2.3 求解任意方程...0

2.2.4 求解任意方程組...0

2.2.5 求解任意函數的極小值...0

2.2.6 張量、計算圖和人工智能框架...0


2.3 結束語...0


第3 章 神經元網絡初步...0

3.1 Tensorflow基本概念...0

3.1.1 計算圖、張量、常數和變量...0

3.1.2 會話、運行...0

3.1.3 占位符...0

3.1.4 矩陣算術運算...0

3.1.5 矩陣運算的廣播...0

3.1.6 TF矩陣運算...0

3.1.7 形狀和操作...0

3.1.8 關係運算和邏輯運算...0


3.2 優化器和計算圖...0

3.2.1 梯度和優化器...0

3.2.2 求解平方根...0

3.2.3 計算圖...0


3.3 三層神經網絡...0

3.3.1 神經元網絡訓練算法...0

3.3.2 線性變換和激活函數...0

3.3.3 矩陣乘法和全連接...0

3.3.4 激活函數...0

3.3.5 全連接和Relu的梯度...0

3.3.6 求正弦...0

3.3.7 BGD、SGD和MBGD...0

3.3.8 三層神經網絡模型...0


3.4 用三層神經網絡擬合任意一個函數...0

3.4.1 三層神經網絡擬合一元函數...0

3.4.2 樣本、訓練和預測...0

3.4.3 中間層神經元個數和樣本數量之間
的關係...0

3.4.4 自變量越界會發生什麼...0

3.4.5 同時擬合cos(x)、sin(x)...0

3.4.6 擬合多元函數...0

3.4.7 過擬合...0


3.5 手寫數字識別...0

3.5.1 手寫數字樣本集合MNIST...0

3.5.2 獨熱向量...0

3.5.3 3種損失函數...0

3.5.4 softmax函數...0

3.5.5 保存和恢復模型...0






3.5.6 驗證模型...0

3.5.7 測試和使用模型...0


3.6 結束語...0


第4 章 卷積神經網絡...0

4.1 卷積...0

4.1.1 一維卷積...0

4.1.2 二維卷積...

4.1.3 通道...

4.1.4 TF對卷積的第一種實現...

4.1.5 TF對卷積的第二種實現...

4.1.6 卷積的實質...


4.2 池化操作...

4.2.1 最大值池化和平均值池化...

4.2.2 池化操作的梯度...


4.3 用CNN實現手寫數字識別...

4.3.1 模型的結構...

4.3.2 模型參數數量和計算量...

4.3.3 關於全連接和Dropout...

4.3.4 用Tensorboard監視訓練...


4.4 手寫數字生成...

4.4.1 生成問題...

4.4.2 VAE模型和語義...

4.4.3 反卷積操作...

4.4.4 網絡的結構...

4.4.5 動量...

4.4.6 控制依賴...

4.4.7 預測...


4.5 條件VAE模型...

4.5.1 CVAE模型...

4.5.2 條件式手寫數字生成模型...


4.6 使用GPU...

4.6.1 單GPU和nvidia-smi命令...

4.6.2 多GPU和重名問題...

4.6.3 多GPU的梯度...

4.6.4 多GPU訓練...

4.6.5 多GPU預測...


4.7 殘差神經網絡...

4.7.1 殘差神經網絡的實現...

4.7.2 BN操作...


4.8 表情識別...

4.8.1 樣本...

4.8.2 通用超級框架...

4.8.3 模型...


4.9 人臉識別和人臉對比...

4.9.1 人臉識別...

4.9.2 簡單人臉對比...

4.9.3 簡單人臉對比的實現...

4.9.4 法向量和夾角余弦...

4.9.5 基於夾角余弦的人臉對比...


4.10 語義分割和實例分割...

4.10.1 什麼是語義分割和實例分割...

4.10.2 多分類問題...

4.10.3 U型網絡...

4.10.4 語義分割和實例分割的實現...

4.10.5 點到點的語義分割和實例分割...


4.11 其他CNN模型...

4.12 優化器...

4.12.1 GradientDescentOptimizer...

4.12.2 MomentumOptimizer...

4.12.3 RMSPropOptimizer...

4.12.4 AdamOptimizer...

4.12.5 AdagradOptimizer...

4.12.6 AdadeltaOptimizer...


4.13 結束語...


第5 章 循環神經網絡...

5.1 什麼是循環神經網絡...

5.2 RNN的結構...

5.2.1 簡單RNN模型...

5.2.2 多層RNN...


5.3 詩歌生成器...

5.3.1 樣本預處理...

5.3.2 字向量...

5.3.3 可洗牌的DataSet...

5.3.4 生成詩歌...


5.4 LSTM模型...

5.4.1 基本LSTM模型...

5.4.2 LSTM變體之一――Peephole...

5.4.3 LSTM變體之二――GRU...