詳解深度學習：基於TensorFlow和Keras學習RNN（簡體書）

本書著眼於處理時間序列數據的深度學習算法，通過基於Python 語言的庫TensorFlow 和Keras來學習神經網絡、深度學習的理論和實現。全書共六章，前兩章講解了學習神經網絡所需的數學知識和Python 基礎知識；中間兩章講解了神經網絡的基本算法以及深度學習的基礎知識和應用；*後兩章詳細介紹了專門用於處理時間序列數據的循環神經網絡（RNN）。

巢籠悠輔（作者） 日本新聞應用Gunosy和眾籌網站READYFOR的創始人之一。曾就職於電通和谷歌紐約分部。辭職後參與了株式會社MICIN的創立工作，致力於人工智能技術在醫療領域的應用。東京大學客座講師。著作有《深度學習：Java語言實現》。鄭明智（譯者） 智慧醫療工程師。主要研究方向為醫療領域的自然語言處理及其應用，密切關注大數據、機器學習、深度學習等領域。譯作有《松本行弘：編程語言的設計與實現》《深度學習基礎與實踐》。

第1章數學準備001

1.1偏微分001

1.1.1導函數和偏導函數001

1.1.2微分係數與偏微分係數003

1.1.3偏微分的基本公式006

1.1.4複合函數的偏微分007

1.1. 5拓展全微分009

1.2線性代數011

1.2.1向量011

1.2.1.1向量的基礎知識011

1.2.1.2向量的和與標量倍數011

1.2.1.3向量的內積012

1.2.2矩陣013

1.2.2.1矩陣的基礎知識013

1.2.2.2矩陣的和與標量倍數014

1.2.2.3矩陣的乘積014

1.2.2.4正則矩陣與逆矩陣016

1.2.2.5轉置矩陣017

1.3小結018

第2章Python準備019

2.1 Python 2和Python 3 020

2.2 Anaconda發行版021

2.3 Python的基礎知識025

2.3.1 Python程序的執行025

2.3.2數據類型026

2.3.2.1類型是什麼026

2.3.2.2字符串類型027

2.3.2.3數值類型028

2.3.2.4布爾類型030

2.3.3變量031

2.3.3.1變量是什麼031

2.3.3.2變量與類型032

2.3.4數據結構033

2.3.4.1列表033

2.3.4.2字典034

2.3.5運算035

2.3.5.1運算符與操作數035

2.3.5.2算術運算的運算符036

2.3.5.3賦值運算符036

2.3.6基本結構038

2.3.6.1 if語句038

2.3.6.2 while語句039

2.3.6.3 for語句041

2.3.7函數043

2.3.8類045

2.3.9庫048

2.4 NumPy 049

2.4.1 NumPy數組049

2.4.2使用NumPy進行向量和矩陣的計算051

2.4.3數組和多維數組的生成053

2.4.4切片054

2.4.5廣播056

2.5面向深度學習的庫058

2.5.1 TensorFlow 058

2.5.2 Keras 059

2.5.3參考Theano 060

2.6小結063

第3章神經網絡065

3.1什麼是神經網絡065

3.1.1腦和神經元065

3.1.2深度學習和神經網絡066

3.2作為電路的神經網絡067

3.2.1簡單的模型化067

3.2.2邏輯電路069

3.2.2.1邏輯門069

3.2.2.2與門069

3.2.2.3或門072

3.2.2.4非門074

3.3簡單感知機075

3.3.1模型化075

3.3.2實現077

3.4邏輯回歸081

3.4.1階躍函數與sigmoid函數081

3.4. 2模型化082

3.4.2.1似然函數與交叉熵誤差函數082

3.4.2.2梯度下降法084

3.4.2.3隨機梯度下降法與小批量梯度下降法085

3.4.3實現086

3.4.3.1使用TensorFlow的實現086

3.4.3.2使用Keras的實現092

3.4.4拓展sigmoid函數與概率密度函數、累積分佈函數096

3.4.5拓展梯度下降法和局部最優解099

3.5多分類邏輯回歸101

3.5.1 softmax函數101

3.5. 2模型化102

3.5.3實現106

3.5.3.1使用TensorFlow的實現106

3.5.3.2使用Keras的實現110

3.6多層感知機111

3.6.1非線性分類111

3.6.1.1異或門111

3.6.1.2邏輯門的組合113

3.6.2模型化115

3.6.3實現119

3.6.3.1使用TensorFlow的實現119

3.6.3.2使用Keras的實現122

3.7模型的評估123

3.7.1從分類到預測123

3.7.2預測的評估124

3.7.3簡單的實驗126

3.8小結131

第4章深度神經網絡133

4.1進入深度學習之前的準備133

4.2訓練過程中的問題138

4.2.1梯度消失問題138

4.2.2過擬合問題141

4.3訓練的高效化142

4.3.1激活函數143

4.3.1.1雙曲正切函數143

4.3.1.2 ReLU 145

4.3.1.3 Leaky ReLU 147

4.3.1.4 Parametric ReLU 149

4.3.2 Dropout 152

4.4代碼的設計157

4.4.1基本設計157

4.4.1.1使用TensorFlow的實現157

4.4.1.2使用Keras的實現160

4.4.1.3拓展對TensorFlow模型進行類封裝161

4.4.2訓練的可視化166

4.4.2.1使用TensorFlow的實現167

4.4. 2.2使用Keras的實現172

4.5高級技術176

4.5.1數據的正則化與權重的初始化176

4.5.2學習率的設置179

4.5.2.1動量179

4.5.2.2 Nesterov動量180

4.5.2.3 Adagrad 181

4.5.2.4 Adadelta 182

4.5.2.5 RMSprop 184

4.5.2.6 Adam 185

4.5.3早停法187

4.5.4 Batch Normalization 190

4.6小結195

第5章循環神經網絡197

5.1基本概念197

5.1.1時間序列數據197

5.1.2過去的隱藏層199

5.1.3基於時間的反向傳播算法202

5.1.4實現204

5.1.4.1準備時間序列數據205

5.1.4.2使用TensorFlow的實現207

5.1.4.3使用Keras的實現214

5.2 LSTM 215

5.2.1 LSTM塊215

5.2.2 CEC、輸入門和輸出門217

5.2.2.1穩態誤差217

5.2.2.2輸入權重衝突和輸出權重衝突219

5.2.3遺忘門220

5.2.4窺視孔連接222

5.2.5模型化223

5.2.6實現227

5.2.7長期依賴信息的訓練評估――Adding Problem 229

5.3 GRU 232

5.3.1模型化232

5.3.2實現233

5.4小結235

第6章循環神經網絡的應用237

6.1雙向循環神經網絡237

6.1.1未來的隱藏層237

6.1.2前向、後向傳播239

6.1.3 MNIST的預測241

6.1 .3.1轉換為時間序列數據241

6.1.3.2使用TensorFlow的實現242

6.1.3.3使用Keras的實現245

6.2循環神經網絡編碼器-解碼器246

6.2.1序列到序列模型246

6.2.2簡單的問答系統247

6.2.2.1設置問題――加法的訓練247

6.2.2.2數據的準備248

6.2.2.3使用TensorFlow的實現251

6.2.2.4使用Keras的實現260

6.3注意力模型261

6.3.1時間的權重261

6.3.2 LSTM中的注意力機制263

6.4記憶網絡265

6.4.1記憶外部化265

6.4.2應用於問答系統266

6.4.2.1 bAbi任務266

6.4.2.2模型化267

6.4.3實現269

6.4.3.1數據的準備269

6.4 .3.2使用TensorFlow的實現272

6.5小結276

附錄279

A.1模型的保存和讀取279

A.1.1使用TensorFlow時的處理279

A.1.2使用Keras時的處理284

A.2 TensorBoard 285

A.3 tf. contrib.learn 292