AI嵌入式系統：算法優化與實現（簡體書）

本書介紹機器學習推理算法在嵌入式系統中的底層實現技術與優化。給出不同層級的優化方法，包括面向機器學習推理模型結構的優化；面向運算圖中各個算子計算優化；面向二進制比特運算優化以及面向CPU硬件特性的優化。內容結合了理論和實踐，其中底層算法的優化方法涉及其背後的信號處理理論介紹，但同時通過應用例子和大量代碼說明其軟件實現方法。所討論的內容能夠幫助讀者在嵌入式平臺上實現機器學習算法，另外也為進一步實現通用的嵌入式環境下機器學習算法自動優化和部署工具的開發提供基本知識。
本書內容面向電子信息及計算機專業本科教學，也可供相關領域工程技術人員參考。

闡述面向AI嵌入式應用的機器學習算法優化理論、設計方法與實現。嵌入式系統高效嵌入智能的必讀參考書

前言
第1章　緒論 1
1.1　AI嵌入式系統的概念與特點 1
1.2　機器學習在嵌入式系統中的實現 4
1.3　本書內容概述 6
第2章　嵌入式軟件編程模式和優化 8
2.1　嵌入式軟件編程模式 8
2.1.1　基於週期調用的運行模式 9
2.1.2　基於中斷的前後臺運行模式 12
2.1.3　基於事件隊列的運行模式 14
2.1.4　帶時間信息的事件隊列運行模式 16
2.1.5　計算圖運行模式 17
2.2　通用軟件優化方法 20
2.2.1　循環結構優化 21
2.2.2　時間空間平衡 23
2.2.3　運算精度和性能平衡 25
2.2.4　底層運算的快速實現算法 28
2.2.5　內存使用優化 30
2.3　小結 34
參考文獻 34
第3章　機器學習算法概述 35
3.1　高斯樸素貝葉斯分類器 35
3.1.1　原理概述 35
3.1.2　模型訓練和推理 36
3.2　感知器 38
3.2.1　原理概述 38
3.2.2　模型訓練和推理 39
3.3　SVM分類器 40
3.3.1　原理概述 40
3.3.2　模型訓練和推理 42
3.4　決策樹 43
3.4.1　原理概述 43
3.4.2　模型訓練和推理 44
3.4.3　決策樹分類器的代碼實現 45
3.5　線性數據降維 47
3.5.1　原理概述 47
3.5.2　模型訓練和推理 47
3.6　神經網絡 48
3.6.1　原理概述 48
3.6.2　模型訓練和推理 50
3.7　小結 54
參考文獻 54
第4章　數值的表示和運算 55
4.1　浮點數 55
4.1.1　單精度和雙精度浮點數 55
4.1.2　16位浮點數 57
4.2　定點數 61
4.2.1　定點數的二進制表示形式 61
4.2.2　定點數的運算 64
4.2.3　給定算法的定點化方法 71
4.3　仿射映射量化 78
4.3.1　量化數據表示 78
4.3.2　量化數據運算 83
4.3.3　基於量化數據的矩陣運算 84
4.4　常數整數乘法優化 88
4.4.1　基於正則有符號數的常數整數乘法優化 89
4.4.2　基於運算圖的常數整數乘法優化 92
4.4.3　多常數整數乘法優化 97
4.4.4　浮點數和整數常數乘法優化 101
4.4.5　常數整數乘法優化的應用 103
4.5　小結 108
參考文獻 108
第5章　卷積運算優化 109
5.1　卷積運算的定義 109
5.1.1　一維線性卷積 110
5.1.2　一維循環卷積 111
5.1.3　二維線性卷積 112
5.1.4　二維循環卷積 113
5.2　快速卷積算法 114
5.2.1　一維循環卷積頻域快速算法 114
5.2.2　短序列一維線性卷積快速算法 117
5.2.3　長序列一維線性卷積的構建 124
5.2.4　快速FIR濾波器算法 129
5.2.5　二維快速卷積算法 140
5.3　近似卷積算法 152
5.3.1　基於卷積核低秩分解的二維快速卷積 153
5.3.2　矩形卷積核近似卷積 154
5.3.3　分段線性卷積核近似 160
5.3.4　卷積核的分段近似 164
5.3.5　基於IIR濾波器的近似卷積 168
5.3.6　基於卷積核低秩近似的二維近似快速卷積 172
5.3.7　基於二維矩形卷積核的近似快速卷積 173
5.4　小結 176
參考文獻 177
第6章　矩陣乘法優化 178
6.1　機器學習算法中的矩陣乘法 178
6.2　Strassen矩陣相乘算法 180
6.3　Winograd矩陣相乘算法 184
6.4　低秩矩陣乘法 187
6.5　循環矩陣乘法 188
6.6　近似矩陣乘法 190
6.6.1　基於矩陣低秩近似的矩陣乘法 191
6.6.2　基於數據統計相關性的近似矩陣乘法 192
6.6.3　基於向量量化的近似矩陣乘法 194
6.7　小結 202
參考文獻 203
第7章　神經網絡的實現與優化 204
7.1　神經網絡基本運算及軟件實現 205
7.1.1　全連接層運算 205
7.1.2　卷積層運算 207
7.1.3　BN層運算 213
7.1.4　激活層運算 214
7.1.5　池化層運算 216
7.1.6　神經網絡示例 217
7.2　神經網絡的權重係數優化 221
7.2.1　權重係數二值化 222
7.2.2　權重係數的定點數量化 224
7.2.3　權重係數量化和神經網絡訓練結合 226
7.3　神經網絡結構優化 233
7.3.1　剪枝優化 233
7.3.2　卷積結構優化 245
7.3.3　知識蒸餾 251
7.4　小結 255
參考文獻 255
第8章　ARM平臺上的機器學習編程 257
8.1　CMSIS軟件框架概述 258
8.2　CMSIS-DSP軟件框架和編程 261
8.2.1　矩陣運算 263
8.2.2　高斯樸素貝葉斯算法實現 267
8.2.3　SVM算法實現 271
8.2.4　數據降維 275
8.3　基於CMSIS-NN的神經網絡編程 277
8.3.1　基於卷積神經網絡的手寫數字識別算法 277
8.3.2　CMSIS-NN的卷積神經網絡實