雲邊端協同計算：基於強化學習（簡體書）

本書系統性地介紹了雲邊端協同計算所需要的核心技術，主要包括五大部分：第yi部分介紹了雲邊端協同計算的基礎，並詳細分析了當前面臨的挑戰；第二部分針對大規模動態任務難以高效處理的挑戰，介紹基於多智能體強化學習的邊端協同計算卸載；第三部分針對分散異構資源難以充分利用的挑戰，介紹基於分布式強化學習的雲邊協同計算卸載；第四部分針對異構內容請求難以快速響應的挑戰，介紹基於聯邦深度強化學習的雲邊端協同緩存；第五部分針對聯合緩存和卸載難以協同決策的挑戰，提出了基於分層強化學習的聯合服務緩存和計算卸載。

前言

第1章　雲邊端協同計算基礎1
1.1　雲邊端協同計算概述1
1.2　雲邊端協同計算的挑戰5
1.3　雲邊端協同計算技術7
1.3.1　邊端協同計算卸載7
1.3.2　雲邊協同計算卸載8
1.3.3　雲邊端協同緩存10
1.3.4　聯合服務緩存和計算卸載11
1.4　雲邊端協同計算的應用12
1.4.1　基於多智能體強化學習的邊端協同計算卸載13
1.4.2　基於分布式強化學習的雲邊協同計算卸載13
1.4.3　基於聯邦深度強化學習的雲邊端協同緩存13
1.4.4　基於分層強化學習的聯合服務緩存和計算卸載14
1.4.5　各個應用之間的關係14
1.5　本章小結15

第2章　深度強化學習基礎16
2.1　機器學習和深度學習16
2.1.1　PyTorch17
2.1.2　監督學習、偏差和過擬合的概念19
2.1.3　無監督學習20
2.1.4　深度學習方法21
2.2　強化學習23
2.2.1　強化學習框架23
2.2.2　強化學習的實驗環境Gym26
2.2.3　從數據中學習策略的不同設置28
2.3　基於價值的深度強化學習方法29
2.3.1　Q學習29
2.3.2　適應性Q學習31
2.3.3　深度Q網絡32
2.3.4　雙重深度Q網絡37
2.3.5　決鬥網絡架構41
2.3.6　分布式深度Q網絡44
2.3.7　多步學習50
2.3.8　DQN與其他變體的組合53
2.4　基於策略梯度的深度強化學習方法54
2.4.1　隨機策略梯度54
2.4.2　確定性策略梯度55
2.4.3　自然策略梯度57
2.4.4　信任域優化57
2.4.5　策略梯度和Q學習的結合58
2.5　基於模型的深度強化學習方法59
2.5.1　純基於模型的方法59
2.5.2　集成無模型和基於模型的方法60
2.6　多智能體強化學習61
2.6.1　多智能體強化學習概述61
2.6.2　多智能體強化學習的符號表示和構建62
2.6.3　多智能體強化學習分類64
2.6.4　主要挑戰和未來發展趨勢66
2.7　本章小結68

第3章　基於多智能體強化學習的邊端協同計算卸載70
3.1　引言70
3.2　邊端協同智能計算架構72
3.2.1　邊端協同計算拓撲結構73
3.2.2　計算卸載問題75
3.3　基於多智能體強化學習的計算卸載方案77
3.3.1　LSTM賦能的決鬥DQN算法78
3.3.2　神經網絡結構79
3.3.3　算法訓練過程80
3.3.4　代碼81
3.3.5　計算複雜度分析87
3.4　性能評估87
3.4.1　參數設置和基準方案87
3.4.2　算法收斂性能88
3.4.3　五種卸載方案的可擴展性91
3.5　本章小結93

第4章　基於分布式強化學習的雲邊協同計算卸載94
4.1　引言94
4.2　系統建模和優化問題95
4.2.1　MEC架構96
4.2.2　服務延遲模型97
4.2.3　雲邊協同計算卸載模型99
4.2.4　優化問題建模100
4.3　智能計算卸載方案100
4.3.1　SAC101
4.3.2　CSACO算法實現103
4.3.3　DSACO算法實現104
4.3.4　代碼106
4.3.5　計算和通信複雜性分析110
4.4　性能評估111
4.4.1　參數設置111
4.4.2　五種卸載方案的收斂性112
4.4.3　五種卸載方案的可擴展性和效率114
4.5　本章小結118

第5章　基於聯邦深度強化學習的雲邊端協同緩存119
5.1　引言119
5.2　系統模型和優化問題121
5.2.1　推薦賦能的邊緣緩存架構121
5.2.2　內容推薦模型122
5.2.3　系統成本模型124
5.2.4　緩存替換模型125
5.2.5　優化問題126
5.3　去中心化的推薦賦能的邊緣緩存方案127
5.3.1　問題分析與分解127
5.3.2　本地請求處理128
5.3.3　緩存替換處理131
5.3.4　代碼135
5.3.5　計算複雜度139
5.4　性能評估139
5.4.1　參數設置和基準方案139
5.4.2　收斂性能141
5.4.3　不同邊緣服務器數量的影響143
5.4.4　邊緣服務器不同緩存大小的影響145
5.4.5　不同數量終端設備的影響145
5.4.6　軟命中的影響147
5.5　本章小結147

第6章　基於分層強化學習的聯合服務緩存和計算卸載149
6.1　引言149
6.2　系統模型和優化問題150
6.2.1　服務緩存模型151
6.2.2　計算卸載模型152
6.2.3　通信和計算模型152
6.2.4　優化問題153
6.3　問題分析與分解154
6.3.1　案例一：邊緣節點不合作154
6.3.2　案例二：一個時間片刻內優化154
6.3.3　問題分解155
6.4　聯合服務緩存和計算卸載方案157
6.4.1　為什麼要分層強化學習157
6.4.2　第一階段：服務緩存處理的邊緣智能體158
6.4.3　第二階段：計算卸載處理的中心智能體159
6.4.4　JSC2O的分層強化學習162
6.4.5　算法複雜度分析162
6.4.6　代碼163
6.5　性能評估164
6.5.1　參數設置和基準方案165
6.5.2　收斂性能167
6.5.3　不同邊緣節點數量的影響168
6.5.4　不同服務數量的影響170
6.6　本章小結172

縮略詞列表173
參考文獻175