神經網絡權值直接確定法（簡體書）

《神經網絡權值直接確定法》提出了一種神經網絡權值直接確定的方法。不同于傳統的神經網絡迭代學習思想，新方法可以一步直接計算出學習型神經網絡的最優權值，展示其在計算速度和學習精度方面的優越性。考慮到人工神經網絡拓撲結構與其性能有著密切的關係，因此，圍繞網絡結構（隱神經元數）進行性能優化一直以來都是人工神經網絡研究的一個重要方向；基於提出的權值直接確定方法，《神經網絡權值直接確定法》提出了神經網絡結構（隱神經元數）最優確定算法，從而可以快速確定性地得到神經網絡的最佳（或較佳）拓撲結構。

張雨濃，男，博士，教授，博士生導師，1973年10月生。1992年至1996年在華中理工大學攻讀學士學位；1996年考入華南理工大學攻讀碩士學位，期間榮獲多項獎勵，如西門子獎學金和南粵優秀研究生獎學金。1999年至2002年在中國香港中文大學攻讀博士學位，期間發表6篇IEEE Transactions雜志論文和3篇其他雜志論文，并榮獲香港Lee Hysan研究生獎學金。2003年完成博士學業之后，在新加坡國立大學電力與計算機工程系做博士后研究，主要研究領域為時變求逆的神經網絡和冗余機器人系統。2004年前往英國斯杰科萊大學任研究員（Research Fellow），主要研究領域為高斯過程回歸及其快速算法。2005年初，轉往愛爾蘭國立大學梅駑斯分校哈密頓研究所任研究科學家／研究員（ResearchScientist／Research Fellow）。2006年6月受聘于中山大學信息科學與技術學院，任“百人計劃”教授，主要研究領域為冗余機器人、遞歸神經網絡和高斯過程計算及優化研究等。多次參加和參與組織國際學術會議并擔任小組主席等職務。迄今，共發表中英文論文140余篇，其中在IEEE Transactions上發表論文10篇（含IEEE Transactions長文6篇），被SCI收錄30余篇，被EI收錄80余篇。
楊逸文，男，在讀碩士，1986年8月生。2005年至2009年在中山大學軟件學院攻讀學士學位，期間獲得多項獎勵，如中山大學優秀學生一等獎學金、鎮泰獎學金、惠普獎學金和國家獎學金等。2009年至今在中山大學信息科學與技術學院攻讀碩士學位。主要研究領域為神經網絡、系統優化和冗余機器人。共發表中英文論文8篇，被EI收錄4篇。
李巍，男，1987年1月生。2007年獲得中山大學電子信息科學與技術專業學士學位，2009年獲得中山大學通信與信息系統專業碩士學位。在學習期間獲得過中山大學研究生獎助金、鎮泰獎學金等多項獎勵。攻讀碩士學位期間主要研究方向為人工神經網絡。共發表中英文論文8篇，被SCI收錄l篇，被EI收錄2篇。

第1章 人工神經網絡概述
1.1 神經網絡的基本概念
1.1.1 什麼是人工神經網絡
1.1.2 人工神經網絡的生物學基礎
1.1.3 人工神經元模型
1.1.4 人工神經網絡模型
1.1.5 神經網絡學習算法
1.2 神經網絡發展簡史
1.3 神經網絡應用
1.3.1 模式識別
1.3.2 自動控制
1.3.3 信號處理
1.3.4 人工智能
參考文獻

第2章 傳統神經網絡及學習算法
2.1 感知器
2.1.1 簡單單層感知器網絡
2.1.2 單層感知器神經網絡
2.1.3 單層感知器的有教師學習算法
2.1.4 單層感知器網絡的局限性
2.2 徑向基網絡
2.3 Hopfield神經網絡
2.4 誤差回傳(BP)神經網絡
2.5 MATIAB神經網絡工具箱
參考文獻

第3章 BP神經網絡
3.1 BP神經網絡的發展
3.2 BP神經元及神經網絡模型
3.3 BP神經網絡學習算法
3.3.1 信號的正向傳遞
3.3.2 BP學習算法的誤差反向傳播與權值閾值更新增量
3.3.3 網絡權值閾值更新公式
3.4 BP神經網絡的局限
3.4.1 局部極小點
3.4.2 學習／收斂速度慢
3.4.3 網絡結構難以確定
3.5 標準BP算法的改進
3.5.1 增加動量項的BP學習算法
3.5.2 可變學習率的BP算法
3.5.3 彈性BP學習算法
3.5.4 共軛梯度法改進
3.5.5 Levenbe唱Marquardt算法
3.6 計算機簡單示例
參考文獻

第4章 權值直接確定法
4.1 相關數學基礎
4.1.1 最佳逼近理論
4.1.2 多元多項式的逼近理論
4.1.3 矩陣偽逆與線性方程組求解
4.2 冪激勵前向神經網絡
4.2.1 網絡模型與理論基礎
4.2.2 基於BP算法的迭代公式
4.2.3 權值直接確定公式
4.2.4 計算機仿真實例
4.2.5 小結與思考
參考文獻
附錄

第5章 權值可直接確定的神經網絡模型(一)
5.1 正交多項式激勵函數——
5.2 Hemite正交多項式神經網絡
5.3 Chebyshev正交多項式神經網絡
5.4 Jacobi正交多項式神經網絡
5.5 小結與思考
參考文獻

第6章 權值可直接確定的神經網絡模型(二)
6.1 Fourier級數及逼近
6.2 Fourier三角基神經網絡
6.3 Fourier復指數基神經網絡
6.4 小結與思考
參考文獻
附錄

第7章 權值可直接確定的其他神經網絡模型
7.1 Pad6有理式神經網絡
7.2 樣條神經網絡
7.3 小結與思考
7.3.1 相對BP算法的突破
7.3.2 對網絡激勵函數的要求
7.3.3 理論與應用上的新意
參考文獻

第8章 神經網絡結構自確定
8.1 神經網絡的拓撲結構
8.1.1 簡單前向神經網絡結構
8.1.2 帶反饋的前向神經網絡結構
8.1.3 層內互連的前向神經網絡結構
8.1.4 反饋神經網絡結構
8.2 隱神經元數對前向網絡性能的影響
8.3 傳統網絡結構調整方法
8.3.1 基於信息熵的隱神經元數估計法
8.3.2 基於LMBP改進算法的神經網絡結構優化
8.3.3 基於黃金分割的優化算法
8.3.4 剪枝算法
8.3.5 基於遺傳算法的網絡結構優化
8.3.6 代數方程優化法
8.4 動態結構神經網絡的實現
8.4.1 動態增添神經元算法
8.4.2 動態刪減神經元算法
8.4.3 計算機仿真與展示
8.4.4 計算機應用示例
8.5 神經網絡最優結構確定
參考文獻

第9章 基於權值直接確定法的網絡結構自確定算法
9.1 chebyshev神經網絡結構自確定
9.2 Legendre神經網絡結構自確定
9.3 Gegenbauer神經網絡結構自確定
9.4 結構自確定法的適用范圍和應用意義
參考文獻
附錄

第10章 多輸入神經網絡權值與結構確定
10.1 多輸人多項式神經網絡模型
10.2 多輸人多項式神經網絡權值直接確定
10.2.1 權值迭代修正公式
10.2.2 全局收斂性質及最優權值直接求解
10.2.3 計算機仿真驗證及與BP、RBF神經網絡性能對比
10.3 多輸入多項式神經網絡的結構自確定
10.4 小結與思考
參考文獻
附錄