中國學科發展戰略：數學優化（簡體書）

數學優化是研究優化問題的數學理論和方法的一門學科,是數學的一個重要學科方向, 是應用數學的重要組成部分,是數學在其他領域應用的重要工具,也是當前機器學習、人工智能的基礎之一.優化理論與方法在科學和技術的各個領域以及國防、經濟、金融、工程、管理等許多重要實際部門都有直接的應用. 《中國學科發展戰略·數學優化》系統分析了目前數學優化的主要分支、核心前沿方向、當前進展及發展態勢,包括當前熱門研究課題、主要的思想、方法與技巧、主要的難題,以及近年來的主要成果與前沿人物;提出對學科發展態勢的觀點與看法;提煉出學科的基本思想、核心方法與關鍵技巧;根據我國學科發展和國家重大需求,提煉與該學科密切相關的重要問題,建議、組織攻關和研發隊伍,解決重大理論或實際問題;為我國優化學科發展和人才培養提出整體建議.

目錄 總序 前言 第1章 引言 1 參考文獻 6 第2章 線性規劃 7 2.1 線性規劃問題背景 7 2.2 線性規劃數學模型 9 2.3 線性規劃求解方法 10 2.3.1 單純形法 10 2.3.2 內點算法 11 2.4 線性規劃的發展方向 12 2.5 線性錐優化 16 2.6 線性錐優化對偶理論 17 2.7 線性錐優化的求解方法 18 2.7.1 內點算法 18 2.7.2 其他方法 19 2.8 線性錐優化發展方向 19 參考文獻 22 第3章 非線性優化 25 3.1 概述 25 3.2 無約束優化 25 3.2.1 共軛梯度法 26 3.2.2 擬牛頓法 26 3.2.3 信賴域方法 27 3.3 約束優化 29 3.3.1 KKT 定理和對偶理論 29 3.3.2 乘子法 29 3.3.3 逐步二次規劃方法 30 3.3.4 內點算法 31 3.4 總結與展望 32 參考文獻 33 第4章 整數規劃 37 4.1 線性整數規劃 37 4.2 非線性整數規劃 40 4.3 非線性整數規劃算法 42 4.4 整數規劃展望 46 參考文獻 46 第5章 組合優化、複雜性與近似算法 48 5.1 概述 48 5.2 關鍵科學問題與研究發展趨勢 50 5.2.1 裝箱問題 50 5.2.2 旅行商問題 51 5.2.3 斯坦納樹問題 53 5.2.4 設施選址問題 54 5.2.5 k-平均問題 55 5.2.6 次模*大化問題 57 5.2.7 圖劃分問題 59 5.2.8 計算複雜性 60 5.3 重要理論、方法的應用及展望 61 參考文獻 68 第6章 全域優化 73 6.1 概述 73 6.2 歷史與現狀 73 6.3 前景展望 75 6.3.1 全域*優性基礎理論研究 76 6.3.2 全域優化算法研究 76 6.3.3 應用問題驅動的全域優化算法研究 80 參考文獻 81 第7章 無導數優化 84 7.1 概述 84 7.2 無導數優化的源流與發展 84 7.2.1 直接搜索方法 85 7.2.2 基於模型的方法 86 7.3 無導數優化的發展方向與挑戰 87 7.3.1 針對噪聲問題的算法和理論 87 7.3.2 針對大規模問題的算法 87 7.3.3 無導數優化在數據科學和機器學習領域的應用 89 7.3.4 實用軟件開發與實際問題求解 89 參考文獻 89 第8章 非光滑優化和擾動分析 93 8.1 非光滑優化 93 8.1.1 非光滑分析的綜述 93 8.1.2 非光滑優化算法的綜述 96 8.1.3 目前的研究熱點和思考 98 8.2 擾動分析 99 8.2.1 概述 99 8.2.2 目前的研究熱點和思考 101 參考文獻 102 第9章 變分不等式與互補問題 105 9.1 概述 105 9.2 發展與現狀 106 9.3 展望與挑戰 111 參考文獻 113 第10章 魯棒優化 115 10.1 概述 115 10.2 研究歷史 115 10.3 研究現狀及發展趨勢 116 10.3.1 魯棒優化的基礎模型 117 10.3.2 概率約束條件及目標 117 10.3.3 概率分佈本身的不確定性 118 10.3.4 直接從數據出發的魯棒決策模型 118 10.3.5 魯棒優化在其他領域的應用 119 10.4 求解器的開發及應用 119 參考文獻 120 第11章 向量優化 123 11.1 簡介 123 11.2 概述 124 11.3 研究現狀與未來研究方向 125 11.3.1 向量優化問題的解定義及其性質研究 125 11.3.2 向量優化問題的標量化方法 127 11.3.3 向量變分不等式及向量均衡問題研究 128 11.3.4 向量優化問題的算法研究 129 11.3.5 隨機與不確定多目標優化問題研究 130 11.3.6 非線性標量化函數與機器學習研究 131 參考文獻 132 第12章 多項式優化 134 12.1 概述 134 12.2 多項式優化理論 135 12.3 多項式優化算法 137 12.4 發展趨勢和展望 140 12.4.1 多項式優化中的凸性 140 12.4.2 Lasserre 層級 SOS 鬆弛方法的分析 140 12.4.3 多項式優化近似算法設計與分析 140 12.4.4 大規模多項式優化數值算法 141 12.4.5 分式多項式優化 141 12.4.6 基於二階錐鬆弛的鬆弛層級 141 參考文獻 141 第13章 張量優化 144 13.1 概述 144 13.2 發展與現狀 145 13.3 展望與挑戰 149 參考文獻 151 第14章 矩陣優化 154 14.1 矩陣優化概述 155 14.1.1 國內外研究發展現狀 155 14.1.2 發展趨勢和展望 159 14.2 低秩稀疏矩陣優化問題 160 14.2.1 國內外研究發展現狀 161 14.2.2 關鍵問題和挑戰 167 14.2.3 未來發展建議 169 參考文獻 171 第15章 流形約束優化 176 15.1 流形約束優化簡介 176 15.2 流形約束優化應用 177 15.2.1 球約束模型 177 15.2.2 線性特徵值計算 178 15.2.3 非線性特徵值計算 179 15.2.4 低秩矩陣優化 180 15.2.5 在整數規劃中的應用 181 15.2.6 冷凍電鏡 181 15.2.7 在深度學習中的應用 181 15.3 流形約束優化算法 182 15.4 流形約束優化分析 184 15.4.1 測地凸優化 184 15.4.2 自洽場迭代的收斂性 185 15.4.3 正交約束優化的全域*優解 185 15.4.4 *大割問題 185 15.4.5 正交約束的小 Grothendieck 問題 186 15.5 關鍵問題和挑戰 186 15.5.1 基礎理論性質 186 15.5.2 流形約束的有效表達 186 15.5.3 非標準流形約束問題的處理 187 15.5.4 計算驅動的模型和算法 187 15.5.5 優化算法的微分方程形式 187 15.6 未來發展建議 188 15.6.1 特殊結構的模型和算法 188 15.6.2 重點問題/重點應用的研究 188 15.6.3 隨機算法和隨機分析 188 15.6.4 流形學習 189 15.6.5 軟件包的發展 189 參考文獻 190 第16章 雙層優化 195 16.1 概述 195 16.2 應用背景 196 16.2.1 電力市場裡的應用 196 16.2.2 城市道路交通中的應用 197 16.2.3 經濟管理方面的應用 199 16.3 研究現狀 200 16.3.1 理論方面 200 16.3.2 算法方面 201 16.4 前景展望 203 16.4.1 樂觀雙層優化 204 16.4.2 悲觀與部分合作雙層優化 204 16.4.3 多目標雙層優化 204 16.4.4 混合整數雙層優化 204 16.4.5 不確定信息下的雙層優化 204 16.4.6 雙層納什均衡問題 205 16.4.7 雙層集值優化問題 205 16.4.8 MPEC 及其相關課題 205 參考文獻 205 第17章 經典隨機優化方法 208 17.1 歷史進展 208 17.2 典型隨機優化方法 211 17.2.1 經典模型 211 17.2.2 兩類方法 212 17.3 目前的研究熱點及其思考 214 參考文獻 215 第18章 梯度法 217 18.1 光滑梯度法 217 18.1.1 單調梯度法 217 18.1.2 非單調梯度法 219 18.2 確定型梯度法 221 18.2.1 由問題的顯式結構驅動的梯度型方法設計 221 18.2.2 由問題的隱式結構驅動的梯度型方法分析 223 18.3 隨機梯度法 224 18.3.1 自適應學習率的隨機梯度型方法 225 18.3.2 梯度方差縮減的隨機梯度型方法 225 18.3.3 高階隨機梯度型方法 226 18.4 問題與挑戰 227 參考文獻 227 第19章 算子分裂法與交替方向法 231 19.1 概述 231 19.2 Forward-Backward 分裂算法 232 19.3 Douglas-Rachford 分裂算法 233 19.4 研究熱點 235 參考文獻 238 第20章 分布式優化 241 20.1 研究背景 241 20.2 主要研究內容 243 20.2.1 代數層面的並行化 244 20.2.2 模型層面的並行化 245 20.3 前沿方向 247 20.3.1 ADMM 方法的改進 247 20.3.2 PBCD 方法的改進 247 20.3.3 PSC 方法的改進 248 20.3.4 異步計算 248 20.3.5 困難問題的分布式/並行求解 248 20.4 發展趨勢 249 20.4.1 結合具體的熱點問題 249 20.4.2 結合不同的並行硬件 249 20.4.3 分布式優化平臺開發 249 20.4.4 與新興科技的結合 250 20.5 本章小結 250 參考文獻 251 第21章 人工智能優化 254 21.1 概述 254 21.2 人工智能中的優化方法的歷史與現狀 256 21.2.1 數據再表達中的優化方法 256 21.2.2 判別學習中的優化方法 258 21.2.3 強化學習的*優化理論與算法 259 21.2.4 機器學習中的一般優化模型與算法 260 21.3 前景展望 264 21.3.1 樣本數據的生成和選擇理論 264 21.3.2 數據再表達中的優化模型、求解及理論研究 265 21.3.3 機器學習中的一