計算機視覺從入門到進階實戰：基於PyTorch（簡體書）

本書基於PyTorch深度學習框架，結合計算機視覺中的主流任務，介紹了深度學習相關算法的計算機視覺上的應用。本書主要內容分為兩部分。第一部分為PyTorch框架使用的相關知識，以及計算機視覺和深度學習的入門知識。第二部分重點介紹深度學習在計算機視覺上的應用，包括：經典的深度卷積網絡、深度注意力網絡，以及基於自注意力的Transformer系列網絡在圖像分類中的應用；R-CNN系列、YOLO系列、SSD系列目標檢測網絡的算法思想及在目標檢測中的應用；FCN、U-Net等全卷積網絡在圖像語義分割領域的應用；針對風格遷移任務，介紹了快速風格遷移、CycleGan等算法的實戰應用；針對自編碼器和擴散模型，介紹了相關算法在圖像重構、去噪以及生成相關計算機視覺任務中的實戰應用；最後介紹了遷移學習和域自適應的經典算法在跨域計算機視覺圖像分類任務中的應用。本書適合對計算機視覺、深度學習、人工智能、PyTorch使用感興趣的初學者及研究人員自學使用，也可作為高等院校相關專業的教材及參考書。

本書從初學者的角度出發，全面系統地講解了Pytorch計算機視覺開發的方法與技巧，書中不光有理論知識的講解，更有大量的實操案例，幫助讀者快速掌握所學知識。本書主要具有以下特色：1.雙色印刷，全程圖解，更好地呈現知識要點與實操步驟，為讀者帶來良好的學習體驗。2.內容循序漸進，先從基礎入手，再通過不同的模塊，以實例引導學習，並逐步延伸提升。3.案例豐富實用，全書穿插許多大小實例，幫助讀者邊練邊學，在實踐中快速成長。4.附贈配套資源，購書即可獲贈全程教學視頻、源碼等資源，並可享受在線技術支持等服務。

本書是基於深度學習框架PyTorch的計算機視覺入門到進階實戰教程，主要展示了計算機視覺和深度學習相結合的相關應用。計算機視覺的內容多且深奧，而本書則是盡可能以簡潔的語言和示例，介紹深度計算機視覺相關的理論知識，然後輔助以PyTorch深度學習編程實戰，介紹如何從0到1完成自己的深度計算機視覺任務。因此，本書的章節設置主要包含以下內容。
第1章：計算機視覺與深度學習。針對計算機視覺主要介紹數字圖像處理基礎以及計算機視覺的主流任務等內容。針對深度學習則是主要介紹深度學習的基礎內容、如何安裝Python和PyTorch，以及PyTorch主要包含的相關模塊的功能。
第2章：PyTorch快速入門。主要介紹PyTorch張量的使用和PyTorch中nn模塊的常用層，在深度學習中針對圖像數據的預處理操作，PyTorch中優化器、損失函數、預訓練網絡以及如何使用GPU等內容。其中針對張量的計算會介紹數據的類型、張量的生成、操作、計算等內容。
第3章：圖像分類。該章介紹了深度學習中的經典卷積神經網絡，用於計算機視覺的經典基礎任務圖像分類。並且使用PyTorch實現了和圖像分類的相關任務，例如：搭建ResNet等經典卷積網絡，用於圖像分類；微調預訓練的深度卷積網絡；可視化卷積網絡的特徵表示以及類激活熱力圖等內容。
第4章：目標檢測與識別。介紹深度學習在圖像目標檢測與識別領域的相關應用，例如R-CNN、YOLO、SSD等經典的目標檢測算法。並且最後通過PyTorch實戰案例，完成自己YOLOv3網絡的搭建、訓練與預測等。
第5章：語義分割。本章介紹深度學習在圖像語義分割任務的應用。在介紹FCN、U-Net等經典語義分割網絡算法時，繼續利用PyTorch完成FCN、U-Net等語義分割網絡的搭建、訓練與預測等內容。
第6章：注意力機制與Transformer。介紹了經典的注意力機制在計算機視覺任務上的應用，以及Transformer的自注意力機制。然後則是以圖像分類的實戰案例，介紹了基於預訓練ViT的圖像分類，以及如何從頭搭建與訓練自己的ViT圖像分類網絡。
第7章：圖像風格遷移。介紹了一些經典的圖像風格遷移任務的深度學習算法，並且使用PyTorch從頭完成自己的圖像風格遷移任務，例如固定內容、固定風格的圖像風格遷移和快速圖像風格遷移，以及CycleGan網絡算法的應用等。
第8章：自編碼器與擴散模型。介紹了自編碼器與擴散模型在計算機視覺中圖像去噪、圖像生成等領域的經典算法，例如VQ-VAE、Stable Diffusion等。針對自編碼網絡圖像重構、基於卷積的自編碼網絡的圖像去噪、基於Stable Diffusion的圖像生成等任務，均介紹如何基於PyTorch進行實戰操作。
第9章：遷移學習與域自適應。主要介紹了遷移學習和域自適應的經典算法在計算機視覺任務中的應用。並且針對跨域的圖像分類任務，使用PyTorch完成了多種遷移學習模型的網絡搭建、訓練與預測等。
本書提供的所有代碼都是Jupyter Lab的形式，方便讀者查閱、分析與運行相關的代碼段，並復現、分析與解讀對應的輸出結果。使用的Python版本為Python 3.9，PyTorch版本為PyTorch 2.0，基於的計算機平臺為Windows系統，GPU平臺為Nvidia 3060Ti 8G顯卡。同時我們的程序對Python3、PyTorch 1.x以及Linux等計算平臺仍然適用。
由於PyTorch和相關庫的迅速發展，以及編著水平有限，書中難免存在疏漏，敬請讀者不吝賜教。歡迎加入QQ群一起交流，獲取使用的程序和數據，QQ群號：434693903。

編著者

第1章 計算機視覺與深度學習 001
1.1 計算機視覺簡介 002
1.1.1 數字圖像處理基礎 003
1.1.2 主流計算機視覺任務 008
1.2 深度學習簡介 010
1.2.1 深度學習發展簡史 010
1.2.2 感知機與人工神經網絡 012
1.2.3 卷積神經網絡 012
1.2.4 循環神經網絡 013
1.2.5 優化算法 014
1.2.6 欠擬合與過擬合 016
1.3 Python與PyTorch安裝 017
1.3.1 安裝Python 017
1.3.2 安裝PyTorch 020
1.3.3 PyTorch核心模塊 021
1.3.4 PyTorch輔組庫 023
1.3.5 其他Python庫 023
1.4 本章小結 025

第2章 PyTorch快速入門 026
2.1 張量Tensor 027
2.1.1 張量的數據類型 027
2.1.2 張量的生成 028
2.1.3 張量操作 034
2.1.4 張量計算 041
2.2 torch.nn模塊 047
2.2.1 卷積層 047
2.2.2 池化層 049
2.2.3 填充層 051
2.2.4 激活函數層 052
2.2.5 歸一化函數層 053
2.2.6 循環層 054
2.2.7 全連接層 054
2.2.8 Transformer層 055
2.3 圖像數據操作和預處理 055
2.3.1 從datasets模塊中導入數據並預處理 057
2.3.2 從文件夾中導入數據並進行預處理 058
2.4 優化器與損失函數 060
2.4.1 優化器 061
2.4.2 損失函數 063
2.5 預訓練網絡 065
2.6 GPU部署和使用 067
2.7 本章小結 068

第3章 圖像分類 069
3.1 經典的深度圖像分類網絡 070
3.1.1 LeNet-5網絡 070
3.1.2 AlexNet網絡 071
3.1.3 VGG網絡結構 072
3.1.4 GoogLeNet 073
3.1.5 ResNet網絡 074
3.1.6 DenseNet網絡 076
3.1.7 CLIP模型 078
3.2 卷積神經網絡識別FashionMNIST 080
3.2.1 圖像數據準備 081
3.2.2 卷積神經網絡的搭建 083
3.2.3 卷積神經網絡訓練與預測 084
3.3 ResNet網絡預測CIFAR10 089
3.3.1 圖像數據準備 090
3.3.2 ResNet網絡搭建 092
3.3.3 ResNet網絡訓練與預測 096
3.4 微調預訓練的卷積網絡 101
3.4.1 微調預訓練的VGG網絡 102
3.4.2 準備新網絡需要的數據 104
3.4.3 微調VGG網絡的訓練和預測 106
3.5 卷積網絡可視化 108
3.5.1 網絡中間特徵可視化 109
3.5.2 類激活熱力圖可視化 112
3.6 CLIP模型應用 116
3.6.1 CLIP零樣本學習 117
3.6.2 CIFAR10使用CLIP特徵分類 118
3.7 本章小結 120

第4章 目標檢測與識別 121
4.1 目標檢測方法 122
4.1.1 目標檢測算法分類 122
4.1.2 目標檢測評價指標 122
4.1.3 目標檢測常用損失函數 123
4.1.4 錨框與非極大值抑制 125
4.2 經典的目標檢測網絡 126
4.2.1 R-CNN系列網絡 126
4.2.2 YOLO系列網絡 129
4.2.3 SSD系列網絡 132
4.2.4 其他目標檢測網絡 135
4.3 使用預訓練的目標檢測網絡 138
4.3.1 目標檢測常用數據集 138
4.3.2 圖像目標檢測 139
4.3.3 人體關鍵點檢測 140
4.4 訓練自己的YOLOv3目標檢測網絡 142
4.4.1 PASCAL VOC數據準備 143
4.4.2 YOLOv3網絡搭建 154
4.4.3 YOLOv3網絡訓練 158
4.4.4 YOLOv3目標檢測 163
4.5 本章小結 164

第5章 語義分割 165
5.1 語義分割方法 166
5.2 經典的語義分割網絡 167
5.2.1 FCN 167
5.2.2 SegNet 169
5.2.3 U-Net 169
5.2.4 DeepLab系列 170
5.2.5 PSPNet 172
5.2.6 SAM 172
5.3 使用預訓練的語義分割網絡 173
5.3.1 使用預訓練網絡 173
5.3.2 語義分割評價指標 176
5.4 訓練自己的語義分割網絡 176
5.4.1 數據準備 177
5.4.2 FCN語義分割網絡 186
5.4.3 U-Net語義分割網絡 194
5.5 本章小結 201

第6章 注意力機制與Transformer 202
6.1 經典的注意力模型 204
6.1.1 SE-Net 204
6.1.2 SPANet 205
6.1.3 CBAM 206
6.1.4 Transformer 207
6.1.5 ViT 209
6.1.6 Swin Transformer 210
6.2 PyTorch預訓練ViT網絡應用 211
6.2.1 預訓練ViT網絡導入 212
6.2.2 CIFAR100數據準備 213
6.2.3 預訓練ViT網絡訓練與預測 214
6.3 ViT網絡圖像分類 218
6.3.1 ViT網絡搭建 220
6.3.2 CIFAR00數據準備 224
6.3.3 ViT網絡訓練與預測 226
6.4 本章小結 228

第7章 圖像風格遷移 229
7.1 經典的圖像風格遷移方法 230
7.1.1 固定風格固定內容的風格遷移 231
7.1.2 固定風格任意內容的風格遷移 233
7.1.3 任意風格任意內容的風格遷移 234
7.1.4 基於Gan的圖像風格遷移 236
7.2 固定風格固定內容的風格遷移 239
7.2.1 準備VGG19網絡 239
7.2.2 圖像數據準備 240
7.2.3 圖像的輸出特徵和Gram矩陣的計算 242
7.2.4 進行圖像風格遷移 244
7.3 固定風格任意內容的風格遷移 247
7.3.1 快速風格遷移網絡準備 247
7.3.2 快速風格遷移數據準備 251
7.3.3 快速風格遷移網絡訓練和結果展示 253
7.4 CycleGan風格遷移 260
7.4.1 CycleGan網絡搭建 260
7.4.2 非成對圖像數據準備 263
7.4.3 網絡訓練 265
7.4.4 圖像轉換結果展示 270
7.5 本章小結 271

第8章 自編碼器與擴散模型 272
8.1 自編器模型與擴散模型介紹 273
8.1.1 自編碼器原理 273
8.1.2 變分自編碼器 274
8.1.3 VQ-VAE圖像生成 275
8.1.4 Stable Diffusion圖像生成 276
8.2 自編碼器圖像重構 278
8.2.1 自編碼網絡數據準備 279
8.2.2 自編碼網絡的構建 281
8.2.3 自編碼網絡的訓練 282
8.2.4 自編碼網絡的數據重構 283
8.2.5 網絡的編碼特徵可視化 284
8.3 自編碼器圖像去噪 285
8.3.1 數據準備 286
8.3.2 網絡搭建 289
8.3.3 網絡訓練與預測 291
8.4 Stable Diffusion圖像生成 296
8.4.1 數據準備 296
8.4.2 網絡搭建 298
8.4.3 網絡訓練與預測 310
8.5 本章小結 312

第9章 遷移學習與域自適應 313
9.1 遷移學習簡介 314
9.1.1 遷移學習的定義 314
9.1.2 為什麼需要遷移學習 315
9.1.3 遷移學習的分類 316
9.1.4 度量準則 318
9.2 經典的遷移學習算法 319
9.2.1 基於深度遷移的finetune模型 319
9.2.2 基於對抗學習的遷移學習 320
9.2.3 基於對齊的遷移學習 324
9.2.4 基於偽標籤的遷移學習 326
9.2.5 其他遷移學習損失函數 328
9.3 遷移學習圖像分類實戰 328
9.3.1 數據和網絡準備工作 329
9.3.2 基於微調的遷移學習 335
9.3.3 基於對齊的遷移學習 338
9.3.4 基於對抗的遷移學習 343
9.3.5 基於目標域標籤互信息的遷移學習 347
9.4 本章小結 351

參考文獻 352