人工神經網絡是一種類似於人類神經系統的信息處理技術，可以視為一種功能強大、應用廣泛的機器學習算法，廣泛應用於實現分類、聚類、擬合、預測、壓縮等功能，在高校研究和工程實踐中均有應用。它模仿生物神經元的工作過程，建立起了一套用於處理計算問題的數學模型。神經網絡的發展經歷了興起——低潮——復興的過程，20世紀80年代後人工神經網絡的發展十分迅速，其中應用廣的是BP神經網絡。此外，還有徑向基網絡、自組織網絡、反饋網絡等其他神經網絡形式，分別適用於不同的場合。
神經網絡作為一種網絡模型，它的具體使用必須依賴某種實現方式。部分反饋神經網絡可以使用電子電路來實現，但更通用的實現方法是利用計算機編程語言。MATLAB就是一個非常好的選擇，利用它可以方便地實現網絡結構模型。MATLAB是美國MathWorks公司推出的科學計算軟件，在科研和工程實踐中獲得了廣泛的應用。MATLAB編程形式自由，可以方便地實現神經網絡算法，且自帶了神經網絡工具箱，用戶直接調用工具箱中的函數，即可使用神經網絡模型解決實際問題。
目前國內有一些介紹MATLAB神經網絡的書，但是隨著MATLAB版本的更新，工具箱中函數不斷變化，整體結構已經調整，市面上的書卻沒有跟上變化，與實際需求脫節。編寫本書的目的，便是為了讓讀者了解神經網絡的發展進程，並學會在的MATLAB版本中實現神經網絡，並應用神經網絡工具箱來解決實際問題。
本書是一本神經網絡原理與實踐相結合的書，涵蓋了大部分主流的神經網絡。它盡量以淺顯易懂的語言講解，讓讀者能理解神經網絡的原理，並學會在MATLAB中實現神經網絡。MATLAB版本逐年更新，神經網絡工具箱中函數的結構安排已經改變，本書使用的MATLAB版本，使讀者掌握應用工具箱解決實際問題的能力。本書講解時附帶了大量實例，對於簡單的例子，本書除了使用工具箱函數外，還用手算的方式給出了自己的實現，便於讀者理解神經網絡的具體實現細節。
本書特色
1.提供配套教學視頻，高效、直觀
為了便於讀者高效、直觀地學習本書中的內容，作者對每章的重點內容都特意製作了教學視頻，這些視頻和本書的實例源文件一起收錄於配書光盤中。
2．軟件版本較新，函數較新
MATLAB每年更新兩次，神經網絡工具箱也隨之更新換代，許多舊的函數已經廢棄不用，同時又有新的函數補充進來。已經出版的圖書和網上的很多資料是舊版本的工具箱。本書基於MATLAB R2011b，介紹了新版本下的神經網絡工具箱的使用方法。
3．內容全面，重點突出
神經網絡根據結構的不同可以分為不同種類，本書內容涵蓋從簡單的感知器到復雜的自組織競爭網絡等類型的神經網絡，對其原理進行了全面的介紹。在實際應用中，大部分場合使用的網絡都是BP神經網絡（多層感知器），而部分生僻的網絡則在MATLAB中沒有對應的工具箱函數。本書結合實用性，對常用的網絡進行了重點講解。
4．實例豐富，貼近實際
本書提供了大量的實例，每個例子都經過精挑細選，有很強的針對性。在實戰篇中還提供了多個貼近工程實踐的案例，便於讀者了解實際應用。
5．循序漸進，先易後難，由淺入深
本書先介紹MATLAB編程基礎，然後介紹神經網絡及其工具箱函數。對每一種網絡在三個層次上用實例講解：介紹工具箱函數時用簡單的實例，讓讀者了解函數的調用規則；在每章後一節給出幾個複雜一些的應用實例，並且用手算的方式給出網絡內部的計算流程，讓讀者理解網絡的運行規則；在本書的後一章列舉了若干個具體的應用案例，重點講解如何對實際問題進行抽象，再選取恰當的神經網絡解決該問題。
6．語言通俗，講解詳細，圖文並茂
本書在講解上力求詳細，在原理分析上力求通俗易懂，且在一些簡單的實例演示中，用純MATLAB編程實現了部分簡單的神經網絡，有利於加深讀者對神經網絡的理解。為了增加可讀性，本書給出了大量的代碼及其實際運行生成的效果圖。書中的代碼力求完整，註釋豐富，使讀者一目了然。配書光盤中詳細列出了書中的函數和腳本文件，方便讀者運行、調試。
7．給出了大量的閱讀和經驗點撥
本書講解時給出了大量需要讀者註意的關鍵知識點和經驗點撥，並在單獨的模塊中用不同的字體呈現出來，便於提醒讀者註意，加深讀者的印象。
8．提供“在線交流，有問必答”網絡互動答疑服務
國內的MATLAB&Simulink技術交流平台——MATLAB中文論壇聯合本書作者和編輯，一起為您提供與本書相關的問題解答和MATLAB技術支持服務，讓您獲得的閱讀體驗。具體參與方式請詳細閱讀本書封底的說明。
本書主要內容
第1篇入門篇（第1～第3章）
第1章神經網絡概述。主要介紹了神經網絡的發展歷程、神經網絡的應用領域、網絡模型原理及訓練方式。
第2章MATLAB快速入門。截至本書完稿，MATLAB的版本為MATLAB R2011b。這一章介紹了MATLAB的集成開發環境，使讀者可以迅速上手。MATLAB語言簡單易學，這一章從數據類型、流程控制、運算符、M文件編輯器等角度概述了MATLAB的特點。通過這一章的學習，讀者可以利用MATLAB編寫簡單的程序。
第3章MATLAB函數與神經網絡工具箱。MATLAB具有豐富的內置函數。這一章給出了30個常用的函數的使用方法，並簡要介紹了神經網絡工具箱。
第2篇原理篇（第4～第11章）
第4章單層感知器。單層感知器是簡單的神經網絡，儘管其功能可以通過其他復雜的網絡實現，但依然有極佳的理論學習價值。
第5章線性神經網絡。線性神經網絡又稱Adaline，能解決線性可分的問題。對於線性不可分的問題，可使用其他網絡模型，或者使用Adaline的變形形式。
第6章BP神經網絡。BP網絡是神經網絡理論中精華的部分，也是實際應用中常見的網絡，它引入了誤差反向傳播算法，是一種多層前向網絡。
第7章徑向基函數網絡。徑向基網絡是一種三層前向網絡，具有極強的非線性映射能力，且收斂速度明顯快於BP神經網絡。這一章包含普通的徑向基網絡和廣義回歸網絡、概率神經網絡。
第8章自組織競爭神經網絡。自組織神經網絡往往使用無監督學習算法，用於解決聚類問題。其網絡模型中包含競爭網絡層，使用了競爭學習的學習方式。
第9章反饋神經網絡。反饋神經網絡是與前向神經網絡相對的一種網絡形式，輸出端的信息以反饋的形式返回到輸入端構成輸入的一部分。適用於聯想記憶、數據預測等場合。
第10章隨機神經網絡。隨機網絡主要指Boltzmann機，其原理實際上與模擬退火算法相同。模擬退火算法是一種模擬退火過程的化算法，可用於求解函數極值。
第11章用GUI設計神經網絡。MATLAB提供了可視化神經網絡工具nntool和nctool（分類聚類工具）、nftool（擬合工具）、nprtool（模式識別工具）、ntstool（時間序列工具）。
第3篇實戰篇（第12、第13章）
第12章Simulink。Simulink是MATLAB軟件提供的一個可視化仿真工具，用戶可以在Simulink中通過簡單的鼠標操作實現一個神經網絡模型。
第13章神經網絡應用實例。這一章給出了7個具體的應用實例，涉及BP網絡、徑向基網絡、反饋網絡、概率神經網絡、自組織神經網絡，解決了圖像、工業、金融、體育等領域的不同問題。
適合閱讀本書的讀者
*神經網絡的初學人員和提高者；
*神經網絡或機器學習算法的研究者；
* MATLAB進階學習者；
*高等學校相關課程的學生；
* MATLAB愛好者和研究人員。
編著者
第1篇入門篇
第1章神經網絡概述（教學視頻：10分鐘）
1.1人工神經網絡簡介
1.2神經網絡的特點及應用
1.2.1神經網絡的特點
1.2.2神經網絡的應用
1.3人工神經網絡的發展歷史
1.4神經網絡模型
1.5神經網絡的學習方式
第2章MATLAB快速入門（教學視頻：48分鐘）
2.1 MATLAB功能及歷史
2.1.1 MATLAB的功能和特點
2.1.2 MATLAB發展歷史
2.2 MATLAB R2011b集成開發環境
2.2 .1 MATLAB的安裝
2.2.2 MATLAB集成開發環境
2.2.3搜索路徑設定
2.3 MATLAB語言基礎
2.3.1標識符與數組
2.3.2數據類型
2.3.3運算符
2.3.4流程控制
2.3.5 M文件
第3章MATLAB函數與神經網絡工具箱（教學視頻：62分鐘）
3.1 MATLAB常用命令
3.2矩陣生成和基本運算
3.2.1 zeros生成全零矩陣
3.2.2 0nes生成全1矩陣
3.2.3 magic生成魔方矩陣
3.2.4 eye生成單位矩陣
3.2.5 rand生成均勻分佈隨機數
3.2.6 randn生成正態分佈隨機數
3.2.7 linspace產生線性等分向量
3.2.8 logspace產生對數等分向量
3.2.9 randperm生成隨機整數排列
3.2.10 randi生成整數隨機數
3.2.11 range向量的/小值之差
3.2.12 minmax求/小值
3.2.13 min/max/mean求/小值
3.2.14 size/length/numel/ndims矩陣維度相關
3.2. 15 sum/prod求和或積
3.2.16 var/std求方差與標準差
3.2.17 diag生成對角矩陣
3.2.18 repmat矩陣複製和平鋪
3.2.19 reshape矩陣變維
3.2.20 inv/pinv矩陣求逆/求偽逆
3.2.21 rank/det求矩陣的秩/行列式
3.2.22 eig矩陣的特徵值分解
3.2.23 svd矩陣的奇異值分解
3.2.24 trace求矩陣的跡
3.2.25 norm求向量或矩陣的範數
3.3數學函數
3.3.1 abs求值
3.3.2 exp/log指數函數/對數函數
3.3.3 log10/log2常用對數/以2為底的對數
3.3.4 fix/roun～ceil/floor取整函數
3.3.5 mod/rem取模數／餘數
3.4圖形相關函數
3.4.1 plot繪製二維圖像
3.4.2坐標軸設置函數
3.4.3 subplot同一窗口分區繪圖
3.4.4 figure/hold創建窗口／圖形保持
3.4.5 semilogx/semilogy單對數坐標圖
3.4.6 contour/clabel曲面等高線／等高線標籤
3.4.7 gcf/gca/gco返回當前圖形／坐標／對象句柄
3.4.8 mesh繪製三維網格圖
3.5神經網絡工具箱
3.5.1工具箱函數基本介紹
3.5.2神經網絡對象與屬性
第2篇原理篇
第4章單層感知器（教學視頻： 27分鐘）
4.1單層感知器的結構104
4.2單層感知器的學習算法105
4.3感知器的局限性108
4.4單層感知器相關函數詳解108
4.4.1 newp——創建一個感知器108
4.4.2 train——訓練感知器網絡111
4.4.3 sim——對訓練好的網絡進行仿真113
4.4.4 hardlim/hardlims——感知器傳輸函數114
4.4.5 init——神經網絡初始化函數115
4.4.6 adapt——神經網絡的自適應117
4.4.7 mae——平均誤差性能函數119
4.5單層感知器應用實例——坐標點的二類模式分類120
4.5.1手算120
4.5.2使用工具箱函數127
第5章線性神經網絡（教學視頻：41分鐘）
5.1線性神經網絡的結構129
5.2 LMS學習算法130
5.3 LMS算法中學習率的選擇132
5.3.1確保網絡穩定收斂的學習率132
5.3 .2學習率逐漸下降133
5.4線性神經網絡與感知器的對比134
5.4.1網絡傳輸函數134
5.4.2學習算法134
5.5線性神經網絡相關函數詳解134
5.5.1 newlind——設計一個線性層135
5.5 .2 newlin——構造一個線性層136
5.5.3 purelin——線性傳輸函數138
5.5.4 learnwh——LMS學習函數138
5.5.5 maxlinlr——計算學習率141
5.5.6 mse——均方誤差性能函數142
5.5.7 linearlayer——構造線性層的函數143
5.6線性神經網絡應用實例144
5.6.1實現二值邏輯——與144
5.6.2實現二值邏輯——異或151
第6章BP神經網絡（教學視頻：49分鐘）
6.1 BP神經網絡的結構156
6.2 BP網絡的學習算法158
6.2.1速下降法158
6.2.2速下降BP法159
6.2.3串行和批量訓練方式162
6.2.4速下降BP法的改進163
6.3設計BP網絡的方法164
6.4 BP神經網絡的局限性166
6.5 BP網絡相關函數詳解166
6.5.1 logsig——Log-Sigmoid傳輸函數167
6.5.2 tansig ——Tan-Sigmoid傳輸函數168
6.5.3 newff——創建一個BP網絡169
6.5.4 feedforwardnet——創建一個BP網絡172
6.5.5 newcf——級聯的前向神經網絡173
6.5.6 cascadeforwardnet——新版級聯前向網絡174
6.5.7 newfftd——前饋輸入延遲的BP網絡175
6.5.8 dlogsig/dtansig——Sigmoid函數的導數176
6.6 BP神經網絡應用實例177
6.6.1基於BP網絡的性別識別177
6.6.2實現二值邏輯——異或191
第7章徑向基函數網絡（教學視頻：62分鐘）
7.1徑向基神經網絡的兩種結構196
7.1.1徑向基函數196
7.1.2正則化網絡198
7.1.3廣義網絡199
7.2徑向基神經網絡的學習算法200
7.2.1隨機選取固定中心200
7.2.2自組織選取中心201
7.2.3有監督選取中心202
7.2.4正交小二乘法203
7.3徑向基神經網絡與多層感知器的比較204
7.4概率神經網絡205
7.4.1模式分類的貝葉斯決策理論205
7.4.2概率神經網絡的結構206
7.4.3概率神經網絡的優點207
7.5廣義回歸神經網絡208
7.5.1廣義回歸神經網絡的理論基礎208
7.5.2廣義回歸神經網絡的結構209
7.6徑向基神經網絡相關函數詳解210
7.6.1 newrb——設計一個徑向基函數網絡210
7.6.2 newrbe——設計一個嚴格的徑向基網絡212
7.6.3 radbas——徑向基函數213
7.6.4 dist——歐幾里得距離權函數215
7.6.5 netprod——乘積網絡輸入函數215
7.6.6 dotprod——內積權函數216
7.6.7 netsum——求和網絡輸入函數217
7.6.8 newpnn——設計概率神經網絡217
7.6.9 compet——競爭性傳輸函數218
7.6.10 ind2vec/vec2ind——向量-下標轉換函數220
7.6.11 newgrnn——設計廣義回歸神經網絡220
7.6.12 normprod——歸一化點積權函數221
7.7徑向基網絡應用實例222
7.7.1異或問題222
7.7.2 RBF網絡曲線擬合227
7.7.3 GRNN網絡曲線擬合234
7.7.4 PNN網絡用於坐標點分類237
第8章自組織競爭神經網絡（教學視頻：52分鐘）
8.1競爭神經網絡
8.2競爭神經網絡的學習算法243
8.2.1 Kohonen學習規則244
8.2.2閾值學習規則245
8.3自組織特徵映射網絡246
8.4 SOM的學習算法247
8.5學習矢量量化網絡249
8.5.1 LVQ1學習規則250
8.5.2 LVQ2規則250
8.6自組織競爭網絡相關函數詳解251
8.6.1 gridtop——網格拓撲函數251
8.6.2 hextop——六邊形拓撲函數252
8.6.3 randtop——隨機拓撲結構函數253
8.6.4 tritop——三角拓撲函數253
8.6.5 dist、boxdist、linkdist、mandist——距離函數255
8.6.6 newc——競爭網絡258
8.6.7 competlayer——新版競爭網絡函數260
8.6.8 newsom——自組織特徵映射網絡261
8.6.9 selforgmap——新版自組織映射網絡函數262
8.6.10 newlvq——學習矢量量化網絡265
8.6.11 lvqnet——新版學習矢量量化網絡函數267
8.6.12 mapminmax——歸一化函數268
8.7自組織競爭神經網絡應用實例269
第9章反饋神經網絡（教學視頻：51分鐘）
9.1離散Hopfield神經網絡278
9.2連續Hopfield神經網絡284
9.3 Elman神經網絡285
9.4盒中腦模型286
9.5反饋神經網絡相關函數詳解288
9.6反饋神經網絡應用實例296
第10章隨機神經網絡（教學視頻：40分鐘）
10.1模擬退火算法308
10.2 Boltzmann機311
10.3 Sigmoid置信度網絡316
10.4 MATLAB模擬退火算法工具317
10.5模擬退火算法求解TSP問題327
第11章用GUI設計神經網絡（教學視頻：56分鐘） 334
11.1神經網絡工具（nntool） 334
11.2神經網絡分類/聚類工具（nctool） 340
11.3神經網絡擬合工具（nftool） 348
11.4神經網絡模式識別工具（nprtool） 353
11.5神經網絡時間序列工具（ntstool） 359
11.6 nntraintool與view 365
第3篇實戰篇
第12章Simulink 368
12.1 Simulink中的神經網絡模塊368
12.2用gensim生成模塊371
第13章神經網絡應用實例（教學視頻：96分鐘）
13.1 BP神經網絡實現圖像壓縮377
13.2 Elman網絡預測上證股市開盤價387
13.3徑向基網絡預測地下水位395
13.4基於BP網絡的個人信貸信用評估402
13.5基於概率神經網絡的手寫體數字識別411
13.6基於概率神經網絡的柴油機故障診斷420
13.7基於自組織特徵映射網絡的亞洲足球水平聚類425
第5章線性神經網絡
線性神經網絡典型的例子是自適應線性元件（Adaptive Linear Element，Adaline）。自適應線性元件20世紀50年代末由Widrow和Hoff提出，主要用途是通過線性逼近一個函數式而進行模式聯想以及信號濾波、預測、模型識別和控制等。
線性神經網絡與感知器的主要區別在於，感知器的傳輸函數只能輸出兩種可能的值，而線性神經網絡的輸出可以取任意值，其傳輸函數是線性函數。線性神經網絡採用Widrow-Hoff學習規則，即LMS（Least Mean Square）算法來調整網絡的權值和偏置。
線性神經網絡在收斂的精度和速度上較感知器都有了較大提高，但其線性運算規則決定了它只能解決線性可分的問題。
5.1線性神經網絡的結構
線性神經網絡在結構上與感知器網絡非常相似，只是神經元傳輸函數不同。線性神經網絡的結構如圖5-1所示。
圖5-1線性神經網絡的結構
如圖5-1所示，線性神經網絡除了產生二值輸出以外，還可以產生模擬輸出——即採用線性傳輸函數，使輸出可以為任意值。
假設輸入是一個維向量，從輸入到神經元的權值為，則該神經元的輸出為：
在輸出節點中的傳遞函數採用線性函數purelin，其輸入與輸出之間是一個簡單的比例關係。線性網絡終的輸出為：
即
寫成矩陣的形式，假設輸入向量為
權值向量為
其中，表示偏置。則輸出可以表示為
若網絡中包含多個神經元節點，就能形成多個輸出，這種線性神經網絡叫Madaline網絡。Madaline網絡的結構如圖5-2所示。
Madaline可以用一種間接的方式解決線性不可分的問題，方法是用多個線性函數對區域進行劃分，然後對各個神經元的輸出做邏輯運算。如圖5-3所示，Madaline用兩條直線實現了異或邏輯。
圖5-2 Madaline結構圖圖5-3 Madaline實現異或
線性神經網絡解決線性不可分問題的另一個方法是，對神經元添加非線性輸入，從而引入非線性成分，這樣做會使等效的輸入維度變大，如圖5-4所示。
圖5-4線性網絡解決非線性問題
5.2 LMS學習算法
線性神經網絡的閃光之處在於其學習算法。Widrow和Hoff於1960年提出自適應濾波LMS算法，也稱為規則（Delta Rule）。LMS算法與感知器網絡的學習算法在權值調整上都基於糾錯學習規則，但LMS更易實現，因此得到了廣泛應用，成為自適應濾波的標準算法。
LMS算法只能訓練單層網絡，但這並不會對其功能造成很大的影響。從理論上說，多層線性網絡並不比單層網絡更強大，它們具有同樣的能力，即對於每一個多層線性網絡，都具有一個等效的單層線性網絡與之對應。
定義某次迭代時的誤差信號為
其中表示迭代次數，表示期望輸出。這裡採用均方誤差作為評價指標：
是輸入訓練樣本的個數。線性神經網絡學習的目標是找到適當的，使得誤差的均方差mse小。只要用mse對求偏導，再令該偏導等於零即可求出mse的極值。顯然，mse必為正值，因此二次函數是凹向上的，求得的極值必為極小值。
在實際運算中，為了解決權值維數過高，給計算帶來困難的問題，往往是通過調節權值，使mse從空間中的某一點開始，沿著斜面向下滑行，終達到小值。滑行的方向是該點陡下降的方向，即負梯度方向。沿著此方向以適當強度對權值進行修正，就能終到達權值。
實際計算中，代價函數常定義為
對該式兩邊關於權值向量求偏導，可得
又因為，令對權值向量求偏導，有
綜合以上兩式，可得
因此，根據梯度下降法，權矢量的修正值正比於當前位置上的梯度，權值調整的規則為：
即
其中為學習率，為梯度。上式還可以進一步整理為以下形式
以下是LMS算法的步驟。
（1）定義變量和參數。
為方便處理，將偏置與權值合併：
相應地，訓練樣本為
為偏置，為期望輸出，為實際輸出，為學習率，為迭代次數。
（2）初始化。給向量賦一個較小的隨機初值，。
（3）輸入樣本，計算實際輸出和誤差。根據給定的期望輸出，計算
（4）調整權值向量。根據上一步算得的誤差，計算
（5）判斷算法是否收斂。若滿足收斂條件，則算法結束，否則自增1（），跳轉到第3步重新計算。收斂條件的選擇對算法有比較大的影響，常用的條件有：
*誤差等於零或者小於某個事先規定的較小的值，如或；
*權值變化量已經很小，即；
*設置迭代次數，達到迭代次數時，無論算法是否達到預期要求，都將強行結束。
實際應用時可以在這些收斂條件的基礎上加以改進，或者混合使用。如規定連續次mse小於某個閾值則算法結束，若迭代次數達到100次則強行結束等。
在這裡，需要注意的是學習率。與感知器的學習算法類似，LMS算法也有學習率大小的選擇問題，若學習率過小，則算法耗時過長，若學習率過大，則可能導致誤差在某個水平上反復振盪，影響收斂的穩定性，這個問題在下一節有專門的討論。
5.3 LMS算法中學習率的選擇
如何在線性神經網絡中，學習率參數的選擇非常重要，直接影響了神經網絡的性能和收斂性。本節介紹如何確保網絡收斂的學習率及常見的學習率下降方式。
5.3.1確保網絡穩定收斂的學習率
如前所述，越小，算法的運行時間就越長，算法也就記憶了更多過去的數據。因此，的倒數反映了LMS算法的記憶容量大小。
往往需要根據經驗選擇，且與輸入向量的統計特性有關。儘管我們小心翼翼地選擇學習率的值，仍有可能選擇了一個過大的值，使算法無法穩定收斂。
1996年Hayjin證明，只要學習率滿足下式，LMS算法就是按方差收斂的：
其中，是輸入向量組成的自相關矩陣的特徵值。由於常常不可知，因此往往使用自相關矩陣的跡（trace）來代替。按定義，矩陣的跡是矩陣主對角線元素之和：
同時，矩陣的跡又等於矩陣所有特徵值之和，因此一般有。只要取
即可滿足條件。按定義，自相關矩陣的主對角線元素就是各輸入向量的均方值。因此公式又可以寫為：
5.3.2學習率逐漸下降
在感知器學習算法中曾提到，學習率隨著學習的進行逐漸下降比始終不變更加合理。在學習的初期，用比較大的學習率保證收斂速率，隨著迭代次數增加，減小學習率以保證精度，確保收斂。一種可能的學習率下降方案是
在這種方法中，學習率會隨著迭代次數的增加較快下降。另一種方法是指數式下降：
是一個接近1而小於1的常數。Darken與Moody於1992年提出搜索—收斂（Search-then-Converge Schedule）方案，計算公式如下：
與均為常量。當迭代次數較小時，學習率，隨著迭代次數增加，學習率逐漸下降，公式近似於
LMS算法的一個缺點是，它對輸入向量自相關矩陣的條件數敏感。當一個矩陣的條件數比較大時，矩陣就稱為病態矩陣，這種矩陣中的元素做微小改變，可能會引起相應線性方程的解的很大變化。
5.4線性神經網絡與感知器的對比
不同神經網絡有不同的特點和適用領域。儘管感知器與線性神經網絡在結構和學習算法上都沒有什麼太大的差別，甚至是大同小異，但我們仍能從細小的差別上找到其功能的不同點。它們的差別主要表現在以下兩點。
5.4.1網絡傳輸函數
LMS算法將梯度下降法用於訓練線性神經網絡，這個思想後來發展成反向傳播法，具備可以訓練多層非線性網絡的能力。
感知器與線性神經網絡在結構上非常相似，的區別在於傳輸函數：感知器傳輸函數是一個二值閾值元件，而線性神經網絡的傳輸函數是線性的。這就決定了感知器只能做簡單的分類，而線性神經網絡還可以實現擬合或逼近。在應用中也確實如此，線性神經網絡可用於線性逼近任意非線性函數，當輸入與輸出之間是非線性關係時，線性神經網絡可以通過對網絡的訓練，得出線性逼近關係，這一特點可以在系統辨識或模式聯想中得到應用。
5.4.2學習算法
學習算法要與網絡的結構特點相適應。感知器的學習算法是早提出的可收斂的算法，LMS算法與它關係密切，形式上也非常類似。它們都採用了自適應的思想，這一點在下一章要介紹的BP神經網絡中獲得了進一步的發展。
在計算上，從表面看LMS算法似乎與感知器學習算法沒什麼兩樣。這裡需要注意一個區別：LMS算法得到的分類邊界往往處於兩類模式的正中間，而感知器學習算法在剛剛能正確分類的位置就停下來了，從而使分類邊界離一些模式距離過近，使系統對誤差更敏感。這一區別與兩種神經網絡的不同傳輸函數有關。
5.5線性神經網絡相關函數詳解
表5-1列出了MATLAB神經網絡工具箱中與線性神經網絡有關的主要函數。
表5-1與線性神經網絡有關的函數
函數名稱
功能
newlind
設計一個線性層
newlin
構造一個線性層
purelin
線性傳輸函數
learnwh
LMS學習函數
maxlinlr
計算學習率
mse
小均方誤差函數
linearlayer
構造線性層的函數
……
大陸出版品因裝訂品質及貨運條件與台灣出版品落差甚大，除封面破損、內頁脫落等較嚴重的狀態，其餘商品將正常出貨。
特別提醒：部分書籍附贈之內容(如音頻mp3或影片dvd等)已無實體光碟提供，需以QR CODE 連結至當地網站註冊“並通過驗證程序”，方可下載使用。
無現貨庫存之簡體書，將向海外調貨：
海外有庫存之書籍，等候約45個工作天;
海外無庫存之書籍，平均作業時間約60個工作天，然不保證確定可調到貨，尚請見諒。
為了保護您的權益，「三民網路書店」提供會員七日商品鑑賞期(收到商品為起始日)。
若要辦理退貨，請在商品鑑賞期內寄回，且商品必須是全新狀態與完整包裝(商品、附件、發票、隨貨贈品等)否則恕不接受退貨。
