梯度下降法的基本原理精選(九篇)
前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的梯度下降法的基本原理主題范文，僅供參考，歡迎閱讀并收藏。
第1篇：梯度下降法的基本原理范文
關(guān)鍵詞：邏輯回歸；綜合素質(zhì)量化
中圖分類號(hào)：TP301 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）25-0183-01
學(xué)生綜合素質(zhì)量化評(píng)估是促進(jìn)學(xué)生全面發(fā)展的重要手段。通過(guò)科學(xué)的綜合素質(zhì)量化評(píng)估體系可以幫助學(xué)生了解自己的長(zhǎng)處和不足，找準(zhǔn)努力的方向，也是對(duì)學(xué)生進(jìn)行評(píng)優(yōu)的依據(jù)[1]。在綜合素質(zhì)評(píng)估系統(tǒng)中，不同的指標(biāo)由于權(quán)重不同，導(dǎo)致評(píng)價(jià)不同[2]。根據(jù)學(xué)生培養(yǎng)目標(biāo)的要求，量化評(píng)估的指標(biāo)包括：思想道德評(píng)價(jià)，文化知識(shí)素質(zhì)評(píng)價(jià)，身體心理素質(zhì)的評(píng)價(jià)，創(chuàng)新發(fā)展能力評(píng)價(jià)。
目前我校各個(gè)指標(biāo)在綜合素質(zhì)量化評(píng)估中的比重分別為20%、10%、10%、60%，表明我校學(xué)生在綜合素質(zhì)量化評(píng)估中各個(gè)特征的重要性。
然而，不同的評(píng)優(yōu)標(biāo)準(zhǔn)要求不完全一致，推優(yōu)時(shí)應(yīng)該有針對(duì)性。例如，省級(jí)三好學(xué)生的評(píng)選標(biāo)準(zhǔn)是“具有堅(jiān)定正確的政治方向，堅(jiān)持黨的基本路線……善于學(xué)習(xí)和吸收新知識(shí)，熱愛(ài)所學(xué)專業(yè)，勤奮學(xué)習(xí)，成績(jī)優(yōu)異……有較強(qiáng)的實(shí)踐能力……有健康的身體、良好的心理素質(zhì)……”。省級(jí)優(yōu)秀學(xué)生干部的評(píng)選標(biāo)準(zhǔn)是“有較高的思想政治素質(zhì)……熱心承擔(dān)社會(huì)工作……有很強(qiáng)的工作能力……”。
大四畢業(yè)之際，能否根據(jù)以往的綜合成績(jī)公平公正推選各種優(yōu)秀，是每個(gè)畢業(yè)生關(guān)注的焦點(diǎn)。因此，本研究從已有的綜合素質(zhì)量化評(píng)估成績(jī)出發(fā)，得出邏輯回歸模型，分析各個(gè)特征的權(quán)重，并與現(xiàn)有的指標(biāo)量化權(quán)重進(jìn)行比較，為有針對(duì)性地推優(yōu)提供參考依據(jù)。
1 邏輯回歸的基本原理
邏輯回歸是機(jī)器學(xué)習(xí)算法中的一種分類算法，適用于標(biāo)簽取值離散的情況。假設(shè)函數(shù)可以表示為：
其中，為邏輯回歸模型參數(shù)向量，x為該數(shù)據(jù)樣本特征值向量。為設(shè)定一個(gè)閾值，當(dāng)大于閾值時(shí)，判定該樣本屬于某一特定分類，反之亦然[3]。
邏輯回歸分類模型使用代價(jià)函數(shù)來(lái)衡量模型的精確度，正則化后的代價(jià)函數(shù)表示為：
其中，表示第i個(gè)數(shù)據(jù)樣本的特征向量。表示第i個(gè)樣本在訓(xùn)練集中的分類標(biāo)注，取值分別為1時(shí)表示樣本屬于某一類別，為0時(shí)表示樣本不屬于該類別。為正則化參數(shù)，控制在兩個(gè)不同的目標(biāo)中的平衡關(guān)系。正則化化后的代價(jià)函數(shù)可以保持假設(shè)的形式相對(duì)簡(jiǎn)單，避免過(guò)度的擬合。能使取極小值的邏輯回歸模型參數(shù)向量就可以用于對(duì)新樣本的預(yù)測(cè)。
可以采用梯度下降法來(lái)求解參數(shù)最小化正則化代價(jià)函數(shù)的更新公式為：
其中，是學(xué)習(xí)速率，用于控制梯度下降的步長(zhǎng)值。
2預(yù)測(cè)模型的建立
收集一個(gè)班50名學(xué)生7個(gè)學(xué)期的綜合素質(zhì)評(píng)估成績(jī)，取各個(gè)特征7個(gè)學(xué)期的平均值形成訓(xùn)練集樣本集，以評(píng)選“省級(jí)三好學(xué)生”為例建立測(cè)評(píng)模型，分析以往的推優(yōu)結(jié)果是否體現(xiàn)了“思想道德和文化知識(shí)素質(zhì)”為主要指標(biāo)的評(píng)價(jià)方式。
2.1變量說(shuō)明
（1）y：測(cè)評(píng)結(jié)果，y=0表示沒(méi)有選中，y=1表示選中為省級(jí)三好學(xué)生
（2）x1：思想道德評(píng)估成績(jī)
（3）x2：文化知識(shí)素質(zhì)評(píng)價(jià)成績(jī)
（4）x3：身體心理素質(zhì)評(píng)價(jià)成績(jī)
（5）x4：創(chuàng)新發(fā)展評(píng)價(jià)成績(jī)
對(duì)50名學(xué)生的成績(jī)獲得50組數(shù)據(jù)（），i=1，2，…，50
2.2算法步驟
（1）構(gòu)造假設(shè)函數(shù)
（2）構(gòu)造代價(jià)函數(shù)
（3）最小化代價(jià)函數(shù)。用梯度下降法求出初始代價(jià)值和梯度值，然后調(diào)用Octave中的無(wú)線約束最小化函數(shù)fminunc，找到最佳值。
獲得
（4）根據(jù)構(gòu)造評(píng)選“省級(jí)三好學(xué)生”的預(yù)測(cè)模型為：
2.3模型評(píng)價(jià)
用該模型進(jìn)行預(yù)測(cè)，得到該模型的準(zhǔn)確率為98.08，查準(zhǔn)率為0.5，召回率為1，F(xiàn)值為0.67，所以即便訓(xùn)練數(shù)據(jù)集擁有偏斜類，但是算法表現(xiàn)很好。
3 邏輯回歸結(jié)論分析
通過(guò)邏輯回歸模型分析發(fā)現(xiàn)，權(quán)重從大到小分別是。表明該班在評(píng)選省級(jí)三好學(xué)生時(shí)，沒(méi)有完全把思想道德和文化知識(shí)素質(zhì)作為評(píng)價(jià)的標(biāo)準(zhǔn)，只是簡(jiǎn)單按照綜合素質(zhì)量化評(píng)估的成績(jī)打分進(jìn)行評(píng)價(jià)，沒(méi)有針對(duì)性。所以，建議各班級(jí)在以后在各種推優(yōu)過(guò)程中應(yīng)該根據(jù)評(píng)選標(biāo)準(zhǔn)，有針對(duì)性的調(diào)整各個(gè)量化指標(biāo)的比重，而不能單純根據(jù)綜合素質(zhì)量化評(píng)估的原有成績(jī)。
參考文獻(xiàn)：
[1]李瑞勤.大學(xué)生綜合素質(zhì)量化評(píng)估初探[J].云南民族學(xué)院學(xué)報(bào)，2002，19（3）：118-119.
第2篇：梯度下降法的基本原理范文
【關(guān)鍵詞】BP神經(jīng)網(wǎng)絡(luò)；遺傳算法；變壓器；故障診斷
1 引言
變壓器作為電力系統(tǒng)重要的變電設(shè)備，其運(yùn)行狀態(tài)直接影響到供電的可靠性和整個(gè)系統(tǒng)的正常運(yùn)行。一旦發(fā)生事故，將對(duì)電力系統(tǒng)和終端用戶造成嚴(yán)重的影響。因此研究變壓器故障診斷技術(shù)，對(duì)電力系統(tǒng)安全運(yùn)行有著重要的現(xiàn)實(shí)意義。
對(duì)變壓器油中溶解氣體進(jìn)行色譜分析（DGA）是變壓器內(nèi)部故障診斷的一種重要的手段?；诖思夹g(shù)，采用具有高度的非線性映射以及自組織、自學(xué)習(xí)能力的人工神經(jīng)網(wǎng)絡(luò)，現(xiàn)階段在進(jìn)行故障診斷時(shí)多采用BP神經(jīng)網(wǎng)絡(luò)。BP算法是基于梯度的方法，容易陷入局部極小值，且收斂速度慢。GA遺傳算法的發(fā)展為我們提供了一個(gè)全局的、穩(wěn)健的搜索優(yōu)化方法，本文充分利用GA具有不受函數(shù)可微與連續(xù)的制約，并且能達(dá)到全局最優(yōu)的特點(diǎn)，由GA尋找最優(yōu)的BP網(wǎng)絡(luò)權(quán)值與相應(yīng)節(jié)點(diǎn)的閾值，并加入動(dòng)量因子，此方法彌補(bǔ)了傳統(tǒng)優(yōu)化方法的不足，極大地改善了BP網(wǎng)絡(luò)的性能。
2 BP神經(jīng)網(wǎng)絡(luò)及遺傳算法原理
2.1 BP神經(jīng)網(wǎng)絡(luò)的基本原理
BP神經(jīng)網(wǎng)絡(luò)是一種利用反向傳播訓(xùn)練算法的前饋型神經(jīng)網(wǎng)絡(luò)，BP學(xué)習(xí)算法基本原理是梯度最速下降法，中心思想是調(diào)整權(quán)值使網(wǎng)絡(luò)總誤差最小，即采用梯度搜索技術(shù)，以使其網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值的誤差均方值為最小。
BP學(xué)習(xí)算法包括前向傳播和誤差反向傳播兩個(gè)學(xué)習(xí)階段。當(dāng)給定網(wǎng)絡(luò)的一個(gè)輸入模式時(shí)，輸入信號(hào)經(jīng)隱層逐層處理后傳到輸出層，并由輸出層處理后產(chǎn)生一個(gè)輸出模式，稱為前向傳播；當(dāng)輸出響應(yīng)與期望的輸出模式有誤差時(shí)，則轉(zhuǎn)入誤差反向傳播。即將誤差值沿原來(lái)的連接通路逐層反向傳播直至輸入層，并修正各層連接權(quán)值。對(duì)于給定的一組訓(xùn)練模式，不斷地重復(fù)前向傳播和誤差反向傳播的過(guò)程，通過(guò)沿途修改各層神經(jīng)元間的連接權(quán)和神經(jīng)元閾值使得誤差達(dá)到最小。當(dāng)各個(gè)訓(xùn)練模式都滿足要求時(shí)，就說(shuō)BP網(wǎng)絡(luò)已學(xué)習(xí)好。BP神經(jīng)網(wǎng)絡(luò)模型的基本結(jié)構(gòu)如圖1。
2.2 附加動(dòng)量的BP神經(jīng)網(wǎng)絡(luò)
傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練在修正權(quán)值時(shí)，是按著k時(shí)刻的負(fù)梯度方式進(jìn)行修正，而忽略了之前積累的經(jīng)驗(yàn)，導(dǎo)致權(quán)值的學(xué)習(xí)過(guò)程發(fā)生振蕩，收斂緩慢。因此提出加入動(dòng)量因子a，此時(shí)k+1時(shí)刻的權(quán)值為：
附加動(dòng)量法總是力圖使同一梯度方向上的修正量增加。這種方法加速了收斂速度，并在一定程度上減小了陷入局部極小的概率。
2.3 GA遺傳算法的基本原理
GA是模擬自然界優(yōu)勝劣汰的進(jìn)化現(xiàn)象，把搜索空間映射為遺傳空間，把可能的解編碼成一個(gè)向量（染色體），向量的每個(gè)元素稱為基因。通過(guò)不斷計(jì)算各染色體的適應(yīng)值，選擇最好的染色體，獲得最優(yōu)解。
首先把問(wèn)題解用遺傳表示出來(lái)，在對(duì)種群中的個(gè)體進(jìn)行逐個(gè)解碼并根據(jù)目標(biāo)函數(shù)計(jì)算其適應(yīng)值。根據(jù)適應(yīng)值的大小而決定某些個(gè)體是否得以存活的操作，把適應(yīng)值高的個(gè)體取出復(fù)制再生，再將兩個(gè)個(gè)體的某些部分互換并重新組合而成新的個(gè)體，經(jīng)過(guò)交叉后隨機(jī)地改變個(gè)體的某些基因位從而產(chǎn)生新的染色體。這樣的過(guò)程反復(fù)循環(huán)，經(jīng)過(guò)若干代后，算法就收斂到一個(gè)最優(yōu)的個(gè)體，問(wèn)題最終獲得全局最優(yōu)解。GA流程圖如圖2所示：
3 GA優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷模型設(shè)計(jì)
GA-BP算法主要思想是：先利用神經(jīng)網(wǎng)絡(luò)試探出最好的網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)，再利用遺傳算法在整體尋優(yōu)的特點(diǎn)將網(wǎng)絡(luò)的權(quán)值優(yōu)化到一個(gè)較小的范圍，進(jìn)而用BP算法繼續(xù)優(yōu)化。
3.1 BP網(wǎng)絡(luò)的建立
（1）輸入模式的確定
本文為了充分利用在線監(jiān)測(cè)中的特征氣體而又不使輸入量過(guò)大，特取C2H2/C2H4、C2H4/C2H6、CH4/H2的比值歸一后作為輸入矢量。
（2）輸出模式的確定
本文對(duì)輸出層采用正常、低溫過(guò)熱、中溫過(guò)熱、高溫過(guò)熱、局部放電、低能放電、高能放電共7個(gè)神經(jīng)元。輸出值最大為l，數(shù)值越大則表明該類型的故障的可能性和嚴(yán)重程度也越大，如表2.1：
（3）隱含層神經(jīng)元數(shù)確定
本文參考關(guān)于隱含層神經(jīng)元數(shù)的理論研究和經(jīng)驗(yàn)公式，獲得理論值為5～15。再利用matlab 軟件，通過(guò)試湊法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將隱層節(jié)點(diǎn)設(shè)置為6、8、10、12、14，將其輸入計(jì)算機(jī)，在相同訓(xùn)練條件下進(jìn)行訓(xùn)練，得知隱層節(jié)點(diǎn)數(shù)為12時(shí)網(wǎng)絡(luò)收斂性能好，收斂時(shí)間較短。故選節(jié)點(diǎn)數(shù)為12。
綜上所述，本文構(gòu)建一個(gè)輸入層為3，隱含層為12，輸出層為7的BP神經(jīng)網(wǎng)絡(luò)。
3.2 GA對(duì)BP網(wǎng)絡(luò)進(jìn)行優(yōu)化
（1）初始化種群P、以及權(quán)值、閾值初始化；在編碼中，采用實(shí)數(shù)進(jìn)行編碼，本文初始種群取30；
（2）計(jì)算每一個(gè)個(gè)體評(píng)價(jià)函數(shù)，并將其排序；可按下式概率值選擇網(wǎng)絡(luò)個(gè)體：
其中 i為染色體個(gè)數(shù)，k為輸出層節(jié)點(diǎn)數(shù)，YK為訓(xùn)練值，P為學(xué)習(xí)樣本數(shù)，T為期望目標(biāo)值；
（3）進(jìn)行選擇復(fù)制、交叉、變異遺傳操作；
（4）將新個(gè)體插入到種群P中，并計(jì)算新個(gè)體的評(píng)價(jià)函數(shù)；
（5）計(jì)算BP的誤差平方和，若達(dá)到預(yù)定值則進(jìn)行BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，否則重復(fù)進(jìn)行遺傳操作；
（6）結(jié)束GA操作，以GA遺傳出的優(yōu)化初值作為初始權(quán)值，運(yùn)用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，計(jì)算其誤差，并不斷修改其權(quán)值和閾值，直至滿足精度要求，此時(shí)說(shuō)明BP網(wǎng)絡(luò)已經(jīng)訓(xùn)練好，保存網(wǎng)絡(luò)權(quán)值和閾值。
4 故障診斷系統(tǒng)的仿真
本文選取了具有代表性的30組作為訓(xùn)練樣本， 在建立的GA-BP變壓器故障診斷網(wǎng)絡(luò)中輸入樣本進(jìn)行訓(xùn)練，其遺傳算法適應(yīng)度曲線、誤差平方和曲線和GA-BP的訓(xùn)練目標(biāo)曲線圖分別見(jiàn)圖3、圖4和圖5。
從圖中可以看出，適應(yīng)度較高的個(gè)體被遺傳了下來(lái)，適應(yīng)度較低的則被淘汰；GA進(jìn)行了150代的遺傳操作達(dá)到了目標(biāo)值；GA-BP算法進(jìn)行了106步左右就收斂到指定精度0.0005。由此看出，此GA優(yōu)化BP建立的變壓器故障診斷模型的收斂精度和收斂速度都比較高。
采用實(shí)際檢測(cè)到的10組電力變壓器故障實(shí)例（表2）來(lái)驗(yàn)證網(wǎng)絡(luò)性能，神經(jīng)網(wǎng)絡(luò)診斷結(jié)果和實(shí)際故障結(jié)果的比較，如表3所示：
由表3可見(jiàn)，基于遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷系統(tǒng)在故障診斷中達(dá)到了很高的準(zhǔn)確率，能較好地滿足變壓器故障診斷的要求，極大的提高了診斷的可靠性和準(zhǔn)確性。
5 結(jié)束語(yǔ)
文中將遺傳算法與BP網(wǎng)絡(luò)相結(jié)合，在DGA的基礎(chǔ)上設(shè)計(jì)了適用于變壓器故障診斷的3-12-7結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò)。先對(duì)網(wǎng)絡(luò)的權(quán)值閾值進(jìn)行GA算法處理，并在傳統(tǒng)的BP算法中加入動(dòng)量因子，通過(guò)MATLAB編程實(shí)現(xiàn)了GA優(yōu)化BP網(wǎng)絡(luò)。通過(guò)仿真分析可知GA優(yōu)化BP網(wǎng)絡(luò)收斂性能的提高改善了BP網(wǎng)絡(luò)的學(xué)習(xí)效率，并在下一步的診斷工作中體現(xiàn)其高準(zhǔn)確率，推廣了此優(yōu)化網(wǎng)絡(luò)在變壓器故障診斷的實(shí)用性。
參考文獻(xiàn)：
[1]張緒錦，譚劍波，韓江洪.基于BP神經(jīng)網(wǎng)絡(luò)的故障診斷方法[J].系統(tǒng)工程理論與實(shí)踐，2002（6）.
[2]王少芳，蔡金錠.GA―BP混合算法在變壓器色譜診斷法中的應(yīng)用[J].高電壓技術(shù)，2003（7）.
[3]鄭高，戴玉松.人工智能方法在變壓器故障診斷中的應(yīng)用[J].四川工業(yè)學(xué)院報(bào)，2004 （5）.
[4]李國(guó)勇.智能控制機(jī)器MATLAB實(shí)現(xiàn)[M].電子工業(yè)出版社，2005.
[5]徐志鈕，律方成.多神經(jīng)網(wǎng)絡(luò)方法在變壓器油色譜故障診斷中的應(yīng)用[J].高壓電器，2005（3）.
第3篇：梯度下降法的基本原理范文
[關(guān)鍵詞]HJPSO；BP神經(jīng)網(wǎng)絡(luò)；廣義預(yù)測(cè)控制；單元機(jī)組
中圖分類號(hào)：C39 文獻(xiàn)標(biāo)識(shí)碼：B 文章編號(hào)：1009-914X（2014）15-0348-02
1 引言（Introduction）
大型火電廠單元機(jī)組控制對(duì)象具有非線性、強(qiáng)耦合、時(shí)變，大滯后等特性，當(dāng)各種擾動(dòng)作用時(shí)會(huì)導(dǎo)致控制對(duì)象的參數(shù)不確定，難以建立準(zhǔn)確的模型，屬于復(fù)雜難控的大型生產(chǎn)過(guò)程。在常規(guī)局部控制系統(tǒng)基礎(chǔ)上發(fā)展起來(lái)的協(xié)調(diào)控制系統(tǒng)是解決這個(gè)問(wèn)題的有效途徑。
近年來(lái)，人工神經(jīng)網(wǎng)絡(luò)為解決非線性控制問(wèn)題提供了更多的技術(shù)手段，人工神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)與適應(yīng)不確定系統(tǒng)的動(dòng)態(tài)特性，充分逼近復(fù)雜的非線性映射關(guān)系，且有較強(qiáng)的魯棒性和泛化能力。其中BP網(wǎng)絡(luò)被大量用于系統(tǒng)的模型辨識(shí)及控制上[1]；但是其收斂速度慢將難以滿足具有自適應(yīng)功能的實(shí)時(shí)控制的要求，為此本文采用基于Hooke-Jeeves particle swarm optimization）混合算法的BP神經(jīng)網(wǎng)絡(luò)（下文統(tǒng)稱HJPSO-BP網(wǎng)絡(luò)）用于建立系統(tǒng)的數(shù)學(xué)模型。
廣義預(yù)測(cè)控制（Generalized Predictive Control）是隨著自適應(yīng)控制的研究而發(fā)展起來(lái)的一種預(yù)測(cè)控制方法；它汲取了現(xiàn)代控制理論中的優(yōu)化控制思想，可以通過(guò)廣義的反饋校正消除控制系統(tǒng)的穩(wěn)態(tài)偏差，并用滾動(dòng)優(yōu)化取代了傳統(tǒng)的最優(yōu)控制，從而增強(qiáng)了系統(tǒng)的實(shí)時(shí)性和抗干擾能力。該算法由模型預(yù)測(cè)、滾動(dòng)優(yōu)化和反饋校等控制策略組成。廣義預(yù)測(cè)控制作為對(duì)其進(jìn)行修正的新型優(yōu)化控制方法，大大增強(qiáng)了算法的適用性和魯棒性[2]，近年來(lái)收到學(xué)術(shù)和工程界的廣泛關(guān)注和重視。
2 理論研究（Theoretical Research）
2.1 基于HJPSO-BP網(wǎng)絡(luò)的預(yù)測(cè)模型（Predictive Model of HJPSO-BP Network）
火電廠鍋爐、汽輪發(fā)電機(jī)組協(xié)調(diào)控制系統(tǒng)是一個(gè)多變量非線性的復(fù)雜控制對(duì)象，數(shù)學(xué)上已經(jīng)證明一個(gè)前向3層神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)任何非線性映射，可以逼近任何復(fù)雜的函數(shù)。因此本文首先建立一個(gè)3層BP神經(jīng)網(wǎng)絡(luò)來(lái)逼近此被控對(duì)象。
BP學(xué)習(xí)算法的基本原理是梯度最速下降法，它的中心思想是調(diào)整權(quán)值使網(wǎng)絡(luò)總的誤差最小，也就是采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實(shí)際輸出值的誤差均方值為最小[3]。本文提出HJPSO-BP算法來(lái)優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，有效地克服了BP神經(jīng)網(wǎng)絡(luò)易陷入局部極值的缺點(diǎn)，提高了BP算法的預(yù)測(cè)精度和收斂速度。利用HJ算法的強(qiáng)收斂能力來(lái)提高PSO的收斂速度和求解精度，利用PSO算法的全局收斂性能給HJ算法提供一個(gè)好的初始值，保證HJ算法的收斂效果[4] [5]。利用PSO算法的逼近能力搜索得到一個(gè)接近最優(yōu)位置向量作為BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值，使用BP算法根據(jù)這些權(quán)值和閾值進(jìn)一步尋優(yōu)，從而得到網(wǎng)絡(luò)權(quán)值和閾值的最優(yōu)值。
粒子群算法描述為，假設(shè)在一個(gè)D維的目標(biāo)搜索空間中，有N個(gè)粒子組成一個(gè)群落，其中第個(gè)粒子表示為一個(gè)D維的向量，。第i個(gè)粒子的“飛行”速度也是一個(gè)D維的向量，記為，。第i個(gè)粒子迄今為止搜索到的最優(yōu)位置稱為個(gè)體極值，記為，。整個(gè)粒子群迄今為止搜索到的最優(yōu)位置為全局極值，記為在找到這兩個(gè)最優(yōu)值時(shí)，粒子根據(jù)如下的公式（2.1）和（ 2.2）來(lái)更新自己的速度和位置：
（1）
（2）
其中：為慣性權(quán)重，和為學(xué)習(xí)因子，也稱加速常數(shù)（acceleration constant），和為[0，1]范圍內(nèi)的均勻隨機(jī)數(shù)?；旌狭Ｗ尤核惴ǖ牟襟E（HJPSO-BP）
步驟1、建立BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)并初始化設(shè)置HJ、PSO算法各參數(shù)。
步驟2、計(jì)算每個(gè)粒子的適應(yīng)度值并比較，得到Pest和Gbest.。
步驟3 、根據(jù)公式（1）、（2）分別計(jì)算各微粒新的速度和位置，計(jì)算新的粒子適應(yīng)度值并比較新的Pest和Gbest。
步驟4、將使用PSO所產(chǎn)生的點(diǎn)作為初始值賦給HJ，利用HJ優(yōu)化PSO的位置。
步驟5、更新并儲(chǔ)存各微粒的個(gè)體歷史最優(yōu)位置和個(gè)體歷史最優(yōu)適應(yīng)值；更新并儲(chǔ)存微粒群的全局歷史最優(yōu)位置和全局歷史最優(yōu)適應(yīng)值。
步驟6、如果是在全局歷史最優(yōu)適應(yīng)值第一次沒(méi)能得到改善之前的迭代，則轉(zhuǎn)至步驟9。
步驟7、啟動(dòng)HJ法。使用PSO搜索到的20%的較優(yōu)的點(diǎn)進(jìn)行局部搜索，若滿足HJ結(jié)束條件，將HJ搜索的結(jié)果回代到PSO，計(jì)算此時(shí)粒子的適應(yīng)度值并記錄Pest和Gbest.。
步驟9、若滿足停止條件（適應(yīng)值誤差小于設(shè)定的適應(yīng)值誤差限或迭代次數(shù)超過(guò)最大允許迭代次數(shù)），搜索停止，輸出全局歷史最優(yōu)位置和全局歷史最優(yōu)適應(yīng)值為所求結(jié)果。否則，返回步驟3繼續(xù)搜索。
步驟10、將計(jì)算出的最優(yōu)粒子的位置各維度值作為BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閥值，得到訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)，并預(yù)測(cè)輸出結(jié)果。
2.2 廣義預(yù)測(cè)控制（Generalized predictive control）
2.2.1 滾動(dòng)優(yōu)化（Rolling optimization）
為增強(qiáng)系統(tǒng)的魯棒性，在性能指標(biāo)函數(shù)中考慮了現(xiàn)在時(shí)刻的控制u（k）對(duì)系統(tǒng)未來(lái)時(shí)刻的影響，性能指標(biāo)函數(shù)為：
（3）
其中是最大預(yù)測(cè)時(shí)域，是控制時(shí)域，是加權(quán)常數(shù)，是控制增量，是設(shè)定值，由神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)得出。
由此對(duì)指標(biāo)函數(shù)在每一采樣時(shí)刻使用梯度下降法進(jìn)行優(yōu)化，便可得出控制律，根據(jù)廣義預(yù)測(cè)控制滾動(dòng)優(yōu)化理論，最終控制量可取為：
（4）
其中，采用梯度下降法求取時(shí)的優(yōu)化步長(zhǎng)，可借助訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的權(quán)值和S形函數(shù)的導(dǎo)數(shù)來(lái)求取，。
由此可見(jiàn)，通過(guò)用優(yōu)化滾動(dòng)方法求取的控制律，與采用丟番圖求解相比減少了計(jì)算量，加快了計(jì)算速度。
2.2.2 反饋校正（Feedback correction）
預(yù)測(cè)模型的輸出不可能與實(shí)際對(duì)象的完全一致，于是通過(guò)反饋來(lái)對(duì)預(yù)測(cè)模型進(jìn)行修正。在神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)控制算法中，每一步都要檢測(cè)實(shí)際輸出，并與模型輸出加以比較以構(gòu)成誤差信息，然后以此誤差信息對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行學(xué)習(xí)和修正，這一過(guò)程可以在線進(jìn)行，也可以離線進(jìn)行。為滿足控制系統(tǒng)實(shí)時(shí)性的要求通常采用在線學(xué)習(xí)和修正，設(shè)實(shí)際對(duì)象輸出與模型輸出之間的誤差用下式表示：
（5）
則得到反饋校正后模型的預(yù)測(cè)輸出為
（6）
式中，u為誤差修正系數(shù)。
基于混合型HJPSO-BP神經(jīng)網(wǎng)絡(luò)廣義預(yù)測(cè)控制的在線算法可歸結(jié)為如下步驟：
（1） 初始化預(yù)測(cè)網(wǎng)絡(luò)模型及控制器參數(shù)。
（2） 采樣被控對(duì)象輸入輸出數(shù)據(jù)，根據(jù)（2）式修改網(wǎng)絡(luò)權(quán)值。
（3） 按（4）式求出控制系列。
（4） 返回第二步。
2.3 控制系統(tǒng)結(jié)構(gòu)（The control system configuration）
如上所述，基于HJPSO-BP神經(jīng)網(wǎng)絡(luò)廣義預(yù)測(cè)控制，是由HJPSO-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型、優(yōu)化控制器和反饋校正三部分構(gòu)成，其結(jié)構(gòu)如圖（1）所示.
3 仿真研究（Simulation Study）
火電廠鍋爐、汽輪發(fā)電機(jī)組協(xié)調(diào)控制系統(tǒng)經(jīng)過(guò)合理簡(jiǎn)化，可以簡(jiǎn)化看作雙輸入雙輸出系統(tǒng)。它的兩個(gè)輸入量為：汽輪機(jī)調(diào)節(jié)閥開(kāi)度指令Ut，鍋爐燃燒率指令Ub；兩個(gè)輸出量為：汽輪機(jī)主蒸汽壓力Pt和機(jī)組實(shí)發(fā)功率Ne。
300MW火力發(fā)電機(jī)組在100%、70%負(fù)荷工況運(yùn)行時(shí)傳遞函數(shù)分別表示如下：
= （11）
= （12）
用基于HJPSO-BP神經(jīng)網(wǎng)絡(luò)廣義預(yù)測(cè)控制策略對(duì)其進(jìn)行計(jì)算機(jī)仿真試驗(yàn)。
分別采用HJPSO-BP算法進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練與普通BP算法進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，對(duì)比其誤差曲線如圖2所示：
由圖2可看出采用HJPSO-BP算法進(jìn)行模型訓(xùn)練，在速度上較普通BP算法提高很多，經(jīng)過(guò)9步即可使平方誤差達(dá)到0.0001。
然后用HJPSO-BP廣義預(yù)測(cè)控制策略對(duì)控制對(duì)象進(jìn)行仿真實(shí)驗(yàn)：
在100%負(fù)荷時(shí)取采樣周期T=15s（選取的經(jīng)驗(yàn)為：，為過(guò)渡過(guò)程上升到95%的上升時(shí)間，通過(guò)對(duì)功率和系統(tǒng)氣壓的階躍響應(yīng)分析可得采樣周期），模型長(zhǎng)度N=1000，預(yù)測(cè)時(shí)域長(zhǎng)度P=3，控制時(shí)域長(zhǎng)度M=2，控制權(quán)矩陣R=[0.8 0.2]，Pt的約束值為0和20Mpa，Ne為0和330MW，取功率設(shè)定值Ne=300MW，壓力設(shè)定值 Pt=18 Mpa ；
在70%負(fù)荷時(shí)控制器參數(shù)均保持不變，以此來(lái)觀察NNGPC的魯棒性，Pt的設(shè)定值和約束值保持不變，Ne的設(shè)定值為210MW。控制系統(tǒng)的仿真結(jié)果如圖3：
采用HJPSO-BP網(wǎng)絡(luò)的廣義預(yù)測(cè)控制策略，機(jī)組實(shí)發(fā)功率Ne和主蒸汽壓力Pt的輸出曲線如圖3所示，其中實(shí)線為100%負(fù)荷模型時(shí)調(diào)整控制器參數(shù)的輸出曲線，虛線為切換到70%負(fù)荷模型且保持控制器參數(shù)不變時(shí)的輸出曲線。仿真結(jié)果表明把HJPSO-BP網(wǎng)絡(luò)廣義預(yù)測(cè)控制運(yùn)用到單元機(jī)組協(xié)調(diào)控制系統(tǒng)中，可保證快速平穩(wěn)地跟蹤系統(tǒng)的功率及主蒸汽壓力設(shè)定值，且對(duì)對(duì)象模型的不確定性具有很好的適應(yīng)性和魯棒性。
為方便清楚的比較HJPSO-BP網(wǎng)絡(luò)廣義預(yù)測(cè)控制的控制效果，下面采用常規(guī)PID策略對(duì)系統(tǒng)進(jìn)行控制仿真對(duì)比。在100%工況時(shí)，UT和UB的PID控制器參數(shù)分別設(shè)置為：kp1=0.0007，ki1=0.000041，kd1=0.012；kp2=0.1，ki2=0.25，kd2=1.4。Ne和Pt的輸出曲線如圖4實(shí)線所示；在70%工況時(shí)，PID控制器參數(shù)保持不變，以此觀察PID控制的魯棒性及對(duì)模型的適配性，此時(shí)Ne和Pt的輸出曲線如圖4虛線所示。
由上圖仿真結(jié)果可以看出，模型的改變，使得常規(guī)PID控制器不能很好的適應(yīng)模型的變化，Ne和Pt的輸出均出現(xiàn)了較大超調(diào)量，同時(shí)Ne的調(diào)節(jié)時(shí)間較長(zhǎng)，不能迅速跟蹤功率設(shè)定值。由此可以看出，常規(guī)PID控制的魯棒性較差，而HJPSO-BP廣義預(yù)測(cè)控制具有更強(qiáng)的魯棒性，且更能適應(yīng)大型單元機(jī)組模型不確定性的要求。
4 結(jié)論（Conclusion）
本文針對(duì)大型單元機(jī)組被控對(duì)象的特點(diǎn)，結(jié)合協(xié)調(diào)控制運(yùn)行中的普遍問(wèn)題，采用HJPSO算法進(jìn)行神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，利用BP網(wǎng)絡(luò)快速完成這種多變量非線性系統(tǒng)的數(shù)學(xué)模型辨識(shí)，同時(shí)將訓(xùn)練好的HJPSO-BP網(wǎng)絡(luò)中的參數(shù)用于求取廣義預(yù)測(cè)控制率，這樣避免求解Diophantine方程，減小計(jì)算量。仿真結(jié)果表明，該方法保證在系統(tǒng)運(yùn)行中功率和主蒸汽壓力平穩(wěn)地跟蹤其設(shè)定值且具有較好的魯棒性，在單元機(jī)組控制中較之常規(guī)協(xié)調(diào)控制策略更加有效。
參考文獻(xiàn)
[1] 孫增圻.智能控制理論與技術(shù)[M].清華大學(xué)出版社，1992.4.
第4篇：梯度下降法的基本原理范文
關(guān)鍵詞:室內(nèi)定位;RSS; BP神經(jīng)網(wǎng)絡(luò);IEEE 802.11b
中圖分類號(hào):TN911.23 文獻(xiàn)標(biāo)識(shí)碼:A
1 引 言
目前,室內(nèi)定位算法主要有以下幾種｡
1)Time of arrival(TOA)
TOA定位的基本原理是通過(guò)測(cè)量節(jié)點(diǎn)間電波傳播的時(shí)間來(lái)確定節(jié)點(diǎn)的位置｡
TOA算法要求參加定位的各個(gè)基站在時(shí)間上實(shí)現(xiàn)嚴(yán)格同步｡在室內(nèi)環(huán)境中,由于已知點(diǎn)到待測(cè)點(diǎn)的距離通常不遠(yuǎn),無(wú)線電波的傳播速度太快,且存在嚴(yán)重的多徑干擾,因此無(wú)法利用無(wú)線電波進(jìn)行測(cè)距｡目前,基于TOA的室內(nèi)定位技術(shù)通常是利用超聲波傳播速度較慢的特點(diǎn)(在20攝氏度時(shí)超聲波的傳播速度為343.38m/s),來(lái)測(cè)量出已知點(diǎn)和待測(cè)點(diǎn)間的距離,進(jìn)而求出待測(cè)點(diǎn)的位置[1]｡
2)GPS L1 Re-radiating
GPS(Global Positioning System)是70年代初由美國(guó)開(kāi)發(fā)的衛(wèi)星導(dǎo)航定位系統(tǒng),本質(zhì)上它也是一個(gè)基于TOA的定位系統(tǒng)｡
GPS L1 Re-radiating是將GPS在L1頻段上的信號(hào),通過(guò)戶外天線接收后,增益放大為室內(nèi)可接收信號(hào),進(jìn)而基于GPS實(shí)現(xiàn)室內(nèi)定位｡
3)Received signal strength,RSS
RSS定位的基本原理是利用移動(dòng)裝置偵測(cè)所接收到的無(wú)線電波信號(hào)強(qiáng)弱,然后根據(jù)經(jīng)驗(yàn)?zāi)Ｐ突騌SS隨距離衰減的模型來(lái)推斷節(jié)點(diǎn)間的距離,進(jìn)而實(shí)現(xiàn)定位[2]｡
該技術(shù)主要使用無(wú)線網(wǎng)絡(luò)本身的無(wú)線電信號(hào)來(lái)定位,不需額外添加硬件,是一種低功率､廉價(jià)的定位技術(shù)[3]｡
基于信號(hào)強(qiáng)度的室內(nèi)定位方法分為經(jīng)驗(yàn)?zāi)Ｐ头ê托盘?hào)衰減模型法｡
(1)經(jīng)驗(yàn)?zāi)Ｐ头?/p>
在經(jīng)驗(yàn)?zāi)Ｐ头ㄖ?將RSSI數(shù)據(jù)轉(zhuǎn)換為位置信息的方法主要有判定法和概率法兩種｡
(2)信號(hào)衰減模型法
信號(hào)衰減模型法則無(wú)需實(shí)地測(cè)量位置和RSSI,而是依據(jù)信號(hào)強(qiáng)度和距離的特定關(guān)系,結(jié)合三角測(cè)量法,根據(jù)來(lái)自三個(gè)(或以上)AP的RSSI來(lái)計(jì)算出待測(cè)點(diǎn)的位置｡
基于TOA的定位模型在開(kāi)放的室外環(huán)境中非常有效,但在室內(nèi)環(huán)境卻存在一些問(wèn)題｡使用超聲波雖可克服無(wú)線電波傳輸速度快的問(wèn)題,但需構(gòu)建專門的超聲波系統(tǒng)｡GPS也主要是針對(duì)戶外目標(biāo)設(shè)計(jì)的定位系統(tǒng),應(yīng)用于室內(nèi)存在定位精度不高等問(wèn)題｡基于RSS的定位模型中,經(jīng)驗(yàn)法需進(jìn)行大量的實(shí)地測(cè)量,同時(shí)無(wú)法保護(hù)定位用戶的隱私;而信號(hào)衰減法在室內(nèi)受NLOS(非視距傳播)等因素影響,也使得定位精度較低｡
因此,本文提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型并借助MATLAB 7.0加以實(shí)現(xiàn)｡采用該方法進(jìn)行室內(nèi)定位,不需要WLAN以外的其他資源｡由于不需要知道定位節(jié)點(diǎn)和建筑物的詳細(xì)特性,用戶的隱私將隨之得到完全的保護(hù)｡
2 基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型
BP神經(jīng)網(wǎng)絡(luò)通常是指基于誤差反向傳播算法(Backpropagation)的多層前向神經(jīng)網(wǎng)絡(luò),目前,該算法已成為應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[4]｡
BP神經(jīng)網(wǎng)絡(luò)采用的是并行網(wǎng)絡(luò)結(jié)構(gòu),包括輸入層､隱含層和輸出層,經(jīng)作用函數(shù)后,再把隱節(jié)點(diǎn)的輸出信號(hào)傳遞到輸出節(jié)點(diǎn),最后給出輸出結(jié)果｡該算法的學(xué)習(xí)過(guò)程由信息的前向傳播和誤差的反向傳播組成｡在前向傳播的過(guò)程中,輸入信息從輸入層經(jīng)隱含層逐層處理,并傳向輸出層｡第一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)｡如果在輸出層得不到期望的輸出結(jié)果,則轉(zhuǎn)入反向傳播,將誤差信號(hào)(目標(biāo)值與網(wǎng)絡(luò)輸出之差)沿原來(lái)的連接通道返回,通過(guò)修改各層神經(jīng)元權(quán)值,使得誤差均方最小｡神經(jīng)網(wǎng)絡(luò)理論已經(jīng)證明BP神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性映射能力和泛化功能,任一連續(xù)函數(shù)或映射均可采用三層網(wǎng)絡(luò)加以實(shí)現(xiàn)｡
計(jì)算技術(shù)與自動(dòng)化2007年6月第26卷第2期李 瑛等:一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型2.1 樣本數(shù)據(jù)的采集和處理
輸入向量為待測(cè)點(diǎn)收到的來(lái)自至少三個(gè)不同位置AP的RSSI值,輸出向量為待測(cè)點(diǎn)的坐標(biāo)值(X,Y)｡
樣本采集在一個(gè)10mX10m的室內(nèi)場(chǎng)地中進(jìn)行｡使用3個(gè)來(lái)自SMC公司的AP和1臺(tái)配置了ORiNOCO PC CARD的筆記本電腦｡AP及無(wú)線網(wǎng)卡符合并工作在IEEE 802.11b標(biāo)準(zhǔn)下｡筆記本電腦所使用的操作系統(tǒng)為RedHat Linux 9.0｡樣本均勻分布在6mx6m的中心區(qū)域中｡
2.2 網(wǎng)絡(luò)結(jié)構(gòu)的確定
Kolmogorov定理已經(jīng)證明[5],任意一連續(xù)函數(shù)可由一個(gè)三層BP 網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)｡雖然研究表明三層以上的BP網(wǎng)絡(luò)可以減少隱含層節(jié)點(diǎn)數(shù),提高計(jì)算效率,但在缺乏理論指導(dǎo)的BP網(wǎng)絡(luò)設(shè)計(jì)中這樣做容易使問(wèn)題趨向復(fù)雜化｡因此選擇三層BP神經(jīng)網(wǎng)絡(luò),即只有1個(gè)隱含層的BP神經(jīng)網(wǎng)絡(luò)｡
該網(wǎng)絡(luò)輸入層的節(jié)點(diǎn)數(shù)由輸入向量的維數(shù)決定,輸入向量的維數(shù)是3,所以輸入層節(jié)點(diǎn)數(shù)確定為3個(gè)｡輸出層節(jié)點(diǎn)數(shù)由輸出向量的維數(shù)決定,這里輸出節(jié)點(diǎn)數(shù)為2 ｡
隱含層節(jié)點(diǎn)數(shù)的選擇在BP網(wǎng)絡(luò)設(shè)計(jì)中是一個(gè)難點(diǎn),目前還沒(méi)有理論上的指導(dǎo)｡過(guò)多的網(wǎng)絡(luò)節(jié)點(diǎn)會(huì)增加訓(xùn)練網(wǎng)絡(luò)的時(shí)間,也會(huì)使網(wǎng)絡(luò)的泛化能力減弱,網(wǎng)絡(luò)的預(yù)測(cè)能力下降｡然而網(wǎng)絡(luò)節(jié)點(diǎn)過(guò)少則不能反映后續(xù)值與前驅(qū)值的相關(guān)關(guān)系,建模不充分｡經(jīng)反復(fù)試驗(yàn),將隱含層節(jié)點(diǎn)數(shù)定為30,這樣形成了一個(gè)3-30-2結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò),如圖1所示｡
2.3 學(xué)習(xí)算法的選擇
基本BP 算法采用梯度下降法使得誤差均方(mse)趨向最小,直至達(dá)到誤差要求｡但在實(shí)際應(yīng)用中,存在收斂速度慢､局部極值等缺點(diǎn)｡Matlab 7.0神經(jīng)網(wǎng)絡(luò)工具箱中提供了十多種快速學(xué)習(xí)算法,一類是采用啟發(fā)式學(xué)習(xí)方法,如引入動(dòng)量因子的traingdm 算法､變速率學(xué)習(xí)算法traingda ､“彈性”學(xué)習(xí)算法trainrp等;另一類采用數(shù)值優(yōu)化方法,如共軛梯度學(xué)習(xí)算法traincgf 等｡本研究選擇traincgf 算法｡該算法在不增加算法復(fù)雜性的前提下,可以提高收斂速度,并且可沿共扼方向達(dá)到全局最小點(diǎn),較好地解決了經(jīng)典BP算法所存在的收斂速度慢和可能出現(xiàn)局部最優(yōu)解的問(wèn)題｡
2.4 BP神經(jīng)網(wǎng)絡(luò)的初始化､訓(xùn)練與仿真
1)建立網(wǎng)絡(luò)
net==newff(P3,[30,2],{′tansig′,′purelin′},′traincgf′)
newff()為建立BP 神經(jīng)網(wǎng)絡(luò)的函數(shù);P3為6維矩陣,表示3維輸入向量中每維輸入的最小值和最大值之間的范圍｡[30,2]表示隱層節(jié)點(diǎn)數(shù)是30,輸出層節(jié)點(diǎn)數(shù)是2,{′tansig′,′purelin′}表示隱含層中的神經(jīng)元采用tansig轉(zhuǎn)換函數(shù),輸出層采用purelin函數(shù),′traincgf′表示選擇的學(xué)習(xí)算法｡
2)權(quán)重和閾值初始化
net==init(net)
給各連接權(quán)重LW{1,1}､LW{2,1}及閾值b{1}､b{2}賦予(-1,+1)間的隨機(jī)值｡
3)訓(xùn)練
[net,tr]=train(net,P,T)
P為輸入向量,T為目標(biāo)向量,根據(jù)網(wǎng)絡(luò)學(xué)習(xí)誤差逆?zhèn)鬟f算法,利用阻尼最小二乘算法迭代,由前一次訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重及閾值訓(xùn)練得到新的網(wǎng)絡(luò)權(quán)重及閾值｡
為了使生成的BP網(wǎng)絡(luò)對(duì)輸入向量有一定的容錯(cuò)能力,最好的方法是既使用理想的信號(hào)又使用帶有噪聲的信號(hào)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練｡具體做法是先用理想的輸入信號(hào)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,直到起平方和誤差足夠小;然后,使用20組理想信號(hào)和帶有噪聲的信號(hào)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練｡經(jīng)過(guò)上述訓(xùn)練后,網(wǎng)絡(luò)對(duì)無(wú)誤差的信號(hào)也可能會(huì)采用對(duì)付帶有噪聲信號(hào)的辦法,這樣會(huì)導(dǎo)致很大的代價(jià),因此,需要采用理想的向量對(duì)網(wǎng)絡(luò)再次訓(xùn)練,以保證網(wǎng)絡(luò)能對(duì)理想信號(hào)作出最好的反應(yīng)｡
使用函數(shù)traincgf對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí),當(dāng)網(wǎng)絡(luò)平方和誤差小于3時(shí)停止網(wǎng)絡(luò)的訓(xùn)練｡訓(xùn)練過(guò)程中的誤差變化情況如圖2所示｡
根據(jù)訓(xùn)練后的網(wǎng)絡(luò)及輸入向量進(jìn)行仿真輸出｡
3 實(shí)驗(yàn)結(jié)果及分析
利用訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了36次定位,并統(tǒng)計(jì)了36次定位的平均誤差,結(jié)果如圖3所示｡
與利用信號(hào)衰減模型定位相比(如圖4所示),利用BP神經(jīng)網(wǎng)絡(luò)定位具有更高的統(tǒng)計(jì)精度｡
與信號(hào)衰減模型相比,雖然BP神經(jīng)網(wǎng)絡(luò)的模型解釋直觀性略有不足,但卻可獲得更精確的定位結(jié)果｡
利用BP神經(jīng)網(wǎng)絡(luò),雖然可解決傳統(tǒng)處理方法所不能處理的非線性映射問(wèn)題,但在實(shí)際應(yīng)用中,對(duì)如何選擇和確定一個(gè)合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)沒(méi)有確切的理論指導(dǎo),只能通過(guò)試驗(yàn)―調(diào)整―再試驗(yàn)的過(guò)程來(lái)確定一個(gè)合適的網(wǎng)絡(luò)結(jié)構(gòu)｡同時(shí),BP神經(jīng)網(wǎng)絡(luò)的隱含層作用機(jī)理和隱含層節(jié)點(diǎn)個(gè)數(shù)的選擇是BP神經(jīng)網(wǎng)絡(luò)的難點(diǎn)問(wèn)題｡隱含層的節(jié)點(diǎn)個(gè)數(shù)的選擇需反復(fù)進(jìn)行試驗(yàn),當(dāng)多次輸出結(jié)果在一定誤差范圍內(nèi)時(shí)才可確定｡
4 結(jié)束語(yǔ)
本文提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型,并在基于IEEE 802.11b標(biāo)準(zhǔn)的WLAN環(huán)境中對(duì)此模型進(jìn)行了測(cè)試｡一個(gè)基于信號(hào)衰減模型的定位算法也在同樣的環(huán)境中進(jìn)行了測(cè)試｡對(duì)比結(jié)果表明,利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行室內(nèi)定位能取得更好的定位精度｡
第5篇：梯度下降法的基本原理范文
關(guān)鍵詞：高速公路；隧道施工系統(tǒng)；安全評(píng)價(jià)；模糊理論；神經(jīng)網(wǎng)絡(luò)
0引言
近年來(lái)，隨著國(guó)家高速公路迅猛發(fā)展，隧道建設(shè)數(shù)量也越來(lái)越多，規(guī)模也越來(lái)越大。在隧道施工過(guò)程中，由于圍巖地質(zhì)條件的多樣性和復(fù)雜性，其施工事故發(fā)生率比其他巖土工程高且嚴(yán)重，給隧道工程施工人員身心帶來(lái)嚴(yán)重的危害，社會(huì)影響惡劣，有悖于國(guó)家建設(shè)和諧社會(huì)的宗旨。這就要求用科學(xué)的方法對(duì)隧道施工生產(chǎn)系統(tǒng)進(jìn)行安全分析與評(píng)估，預(yù)測(cè)事故發(fā)生的可能性[1]。
在傳統(tǒng)的公路隧道施工生產(chǎn)系統(tǒng)安全評(píng)價(jià)中，經(jīng)常使用的安全評(píng)價(jià)方法主要以定性安全評(píng)價(jià)方法為主，如專家論證法、安全檢查表法及作業(yè)條件危險(xiǎn)性評(píng)價(jià)法等[2,3]。近年來(lái)，在公路隧道施工生產(chǎn)系統(tǒng)安全評(píng)價(jià)中，引人了模糊綜合評(píng)價(jià)的方法，取得了較好的決策效果[4]。但是，該方法缺乏對(duì)環(huán)境變化的自學(xué)習(xí)能力，對(duì)權(quán)值不能進(jìn)行動(dòng)態(tài)調(diào)整[5],而神經(jīng)網(wǎng)絡(luò)具有非線性逼近能力,具有自學(xué)習(xí)、自適應(yīng)和并行分布處理能力，但其對(duì)不確定性知識(shí)的表達(dá)能力較差，因此，模糊控制與神經(jīng)網(wǎng)絡(luò)結(jié)合就可以優(yōu)勢(shì)互補(bǔ)，各取所長(zhǎng)[6]，在這方面已經(jīng)出現(xiàn)了一些研究成果[7～11]。為此，本文把人工神經(jīng)網(wǎng)絡(luò)理論與模糊綜合評(píng)價(jià)理論相融合，研究建立了一種模糊神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)模型，對(duì)公路隧道施工的安全管理水平進(jìn)行評(píng)價(jià)。
1模糊神經(jīng)網(wǎng)絡(luò)
1.1基本結(jié)構(gòu)原理
模糊神經(jīng)網(wǎng)絡(luò)是由與人腦神經(jīng)細(xì)胞相似的基本計(jì)算單元即神經(jīng)元通過(guò)大規(guī)模并行、相互連接而成的網(wǎng)絡(luò)系統(tǒng)，訓(xùn)練完的網(wǎng)絡(luò)系統(tǒng)具有處理評(píng)估不確定性的能力，也具有記憶聯(lián)想的能力，可以成為解決評(píng)估問(wèn)題的有效工具，對(duì)未知對(duì)象作出較為客觀正確的評(píng)估。
根據(jù)評(píng)估問(wèn)題的要求，本文采用具有多輸人單元和五輸出單元的三層前饋神經(jīng)網(wǎng)絡(luò)，其中包括神經(jīng)網(wǎng)絡(luò)和模糊集合兩方面的內(nèi)容。
1.2神經(jīng)網(wǎng)絡(luò)
為了模擬人腦結(jié)構(gòu)和功能的基本特性，前饋神經(jīng)網(wǎng)絡(luò)由許多非線性神經(jīng)元組成，并行分布，多層連接。Robert Hecht一Nielson于1989年證明了對(duì)于任何在閉區(qū)間內(nèi)的一個(gè)連續(xù)函數(shù)都可以用一個(gè)隱層的BP網(wǎng)絡(luò)來(lái)逼近[12]，因而一個(gè)三層的BP網(wǎng)絡(luò)完全可以完成任意的輸人層到輸出層的變換。因此，本文研究的公路隧道施工系統(tǒng)安全評(píng)價(jià)模糊神經(jīng)網(wǎng)絡(luò)采用三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。輸人層有 個(gè)神經(jīng)元，輸人向量 ， ，輸人層神經(jīng)元 的輸出是輸人向量的各分分量 。隱層有個(gè)神經(jīng)元 ， ，若輸人層神經(jīng)元 與隱層神經(jīng)元 之間的連接權(quán)值為 ，且隱層神經(jīng)元 的閾值為 ，則隱層神經(jīng)元 的輸出為
(l)
式中 是神經(jīng)元的激勵(lì)函數(shù)，一般選取單調(diào)遞增的有界非線性函數(shù)，這里選用Sigmoid函數(shù)：
(2)
由此，隱層神經(jīng)元的輸出為：
(3)
同理可得輸出層神經(jīng)元的輸出為：
(4)
1.3學(xué)習(xí)算法
本網(wǎng)絡(luò)采用BP學(xué)習(xí)算法，它是一種有教師的學(xué)習(xí)算法，其學(xué)習(xí)過(guò)程由信號(hào)的正向傳播和誤差的反向傳播組成。基本原理是：設(shè)輸人學(xué)習(xí)樣本為 個(gè)，即輸人矢量 ，已知其對(duì)應(yīng)的期望輸出矢量(教師信號(hào))為 ，正向傳播過(guò)程將學(xué)習(xí)樣本輸人模式 從輸人層經(jīng)隱含單元層逐層處理，并傳向輸出層，得到實(shí)際的輸出矢量 ，如果在輸出層不能得到期望輸出 ，則轉(zhuǎn)人反向傳播，將 與 的誤差信號(hào)通過(guò)隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而調(diào)整各神經(jīng)元之間的連接權(quán)值，這種信號(hào)正向傳播與誤差反向傳播得各層權(quán)值調(diào)整過(guò)程是周而復(fù)始地進(jìn)行的，直到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。
網(wǎng)絡(luò)的具體學(xué)習(xí)算法的計(jì)算模型如下：
對(duì)某一學(xué)習(xí)樣本 ，誤差函數(shù)為
（5）
式中： 、 分別為該樣本的輸出期望值和實(shí)際值。
對(duì)于所有學(xué)習(xí)樣本 ，網(wǎng)絡(luò)的總誤差為
（6）
網(wǎng)絡(luò)學(xué)習(xí)算法實(shí)際上就是求誤差函數(shù)的極小值。利用非線性規(guī)劃中的梯度下降法(最速下降法)，使權(quán)值沿著誤差函數(shù)的負(fù)梯度方向改變。
隱層與輸出層之間的權(quán)值(及閾值) 的更新量 可表示為
（7）
式中： 為學(xué)習(xí)率，可取 。
將式（6）和（4）代入式（7），并利用復(fù)合函數(shù)求導(dǎo)的連鎖規(guī)則，得
（8）
式中： 為迭代次數(shù)， 為誤差信號(hào)
（9）
類似的，輸入層與隱層之間的權(quán)值（及閾值）修正為
（10）
同理可得
式中 為誤差信號(hào)
（11）
為了改善收斂性，提高網(wǎng)絡(luò)的訓(xùn)練速度，避免訓(xùn)練過(guò)程發(fā)生振蕩，對(duì)BP算法進(jìn)行改進(jìn)，在權(quán)值調(diào)整公式中增加一動(dòng)量項(xiàng)，即從前一次權(quán)值調(diào)整量中取出一部分迭加到本次權(quán)值調(diào)整量中，即：
（12）
（13）
式中 為動(dòng)量因子，一般有 。
1.4模糊集合
評(píng)估指標(biāo)集由表征一類評(píng)估決策問(wèn)題的若干性能指標(biāo)組成。由于指標(biāo)的量化含有不確定性，故用模糊方法加以處理[13]。評(píng)估指標(biāo)的模糊集合 可表示為
（14）
式中： 是評(píng)估指標(biāo)， 是相應(yīng)指標(biāo)的評(píng)價(jià)滿意度， 。
評(píng)估指標(biāo)集用其滿意度表示，取值在[0，1]之間，作為模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)中神經(jīng)網(wǎng)絡(luò)的輸人向量，這正好符合神經(jīng)網(wǎng)絡(luò)對(duì)輸人向量特征化的要求。實(shí)踐表明，經(jīng)過(guò)對(duì)輸人向量的特征化處理，可大大減少網(wǎng)絡(luò)的學(xué)習(xí)時(shí)間，加速網(wǎng)絡(luò)訓(xùn)練的收斂。
2隧道施工系統(tǒng)安全評(píng)價(jià)模糊神經(jīng)網(wǎng)絡(luò)
2.1指標(biāo)體系與神經(jīng)網(wǎng)絡(luò)劃分
實(shí)踐證明，一個(gè)好的隧道施工系統(tǒng)安全評(píng)價(jià)方法應(yīng)滿足以下要求：評(píng)價(jià)指標(biāo)能全面準(zhǔn)確地反映出隧道施工系統(tǒng)的狀況與技術(shù)質(zhì)量特征；評(píng)價(jià)模式簡(jiǎn)單明了，可操作性強(qiáng)，易掌握；評(píng)價(jià)結(jié)論能反映隧道施工系統(tǒng)的合理性、經(jīng)濟(jì)性及安全可靠性；評(píng)價(jià)中所采用的數(shù)據(jù)易于獲取，數(shù)據(jù)處理工作量??；頂層輸出即為系統(tǒng)的專家評(píng)估，而每層各評(píng)估項(xiàng)目的子系統(tǒng)都可以用子結(jié)構(gòu)表示。
每個(gè)子結(jié)構(gòu)具有輸人輸出關(guān)系可表達(dá)為
（15）
其中 是子系統(tǒng)的輸出， 是子系統(tǒng)的輸人矢量， 為相應(yīng)的專家(加權(quán))知識(shí)。
評(píng)估專家系統(tǒng)中各子系統(tǒng)的評(píng)估由各自的模糊神經(jīng)網(wǎng)絡(luò)來(lái)完成。
這種對(duì)評(píng)估系統(tǒng)的結(jié)構(gòu)分解和組合具有如下特點(diǎn)：
（1）每個(gè)子系統(tǒng)可以采用較少的神經(jīng)元來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)和知識(shí)推理，這樣既減少了學(xué)習(xí)樣本數(shù)、提高了樣本訓(xùn)練速度，又能夠獨(dú)立完成某一推理任務(wù)。
（2）分解的各子系統(tǒng)具有相對(duì)獨(dú)立性，便于系統(tǒng)的修改、擴(kuò)展和子系統(tǒng)的刪除，從而具有良好的維護(hù)性。
（3）子系統(tǒng)的評(píng)估項(xiàng)目即為節(jié)點(diǎn)，在系統(tǒng)進(jìn)行評(píng)估推理時(shí)產(chǎn)生的評(píng)估表示式可以很好地解釋評(píng)估系統(tǒng)的推理過(guò)程，避免了神經(jīng)網(wǎng)絡(luò)權(quán)值難以理解所致的推理過(guò)程難以理解的弱點(diǎn)。
2.2網(wǎng)絡(luò)的設(shè)計(jì)
評(píng)估問(wèn)題是前向處理問(wèn)題，所以選用如前所述的前向型模糊神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。
（1）輸人層
輸人層是對(duì)模糊信息進(jìn)行預(yù)處理的網(wǎng)層，主要用于對(duì)來(lái)自輸人單元的輸人值進(jìn)行規(guī)范化處理，輸出由系統(tǒng)模糊變量基本狀態(tài)的隸屬函數(shù)所確定的標(biāo)準(zhǔn)化的值，以便使其適應(yīng)后面的處理。根據(jù)評(píng)價(jià)指標(biāo)體系，對(duì)應(yīng)20個(gè)指標(biāo)構(gòu)建BP網(wǎng)絡(luò)的輸入層為20個(gè)節(jié)點(diǎn)，將指標(biāo)轉(zhuǎn)換為相應(yīng)指數(shù)后作為樣本進(jìn)入網(wǎng)絡(luò)進(jìn)行計(jì)算。
（2）隱層(模糊推理層)
該層是前向型模糊神經(jīng)網(wǎng)絡(luò)的核心，用以執(zhí)行模糊關(guān)系的映射，將指標(biāo)狀態(tài)輸入與評(píng)估結(jié)果輸出聯(lián)系起來(lái)。采用試探法選取模型的隱含層神經(jīng)元數(shù)，即首先給定一個(gè)較小的隱含層神經(jīng)元數(shù)，代入模型觀察其收斂情況，然后逐漸增大，直至網(wǎng)絡(luò)穩(wěn)定收斂。通過(guò)計(jì)算該模型的隱含層神經(jīng)元數(shù)為28個(gè)。
（3）輸出層
輸出層是求解模糊神經(jīng)網(wǎng)絡(luò)的結(jié)果，也是最后的評(píng)估結(jié)果。我們把評(píng)價(jià)因素論域中的每一因素分成5個(gè)評(píng)價(jià)等級(jí)，即
={安全（ ），較安全（ ），安全性一般（ ），較不安全（ ），不安全（ ）}
對(duì)應(yīng)這5個(gè)等級(jí)，確定輸出層為5個(gè)節(jié)點(diǎn)。這樣就構(gòu)建了一個(gè)“20―28―5”的3層BP網(wǎng)絡(luò)作為評(píng)價(jià)體系的網(wǎng)絡(luò)模型。
2.3模糊神經(jīng)網(wǎng)絡(luò)訓(xùn)練
網(wǎng)絡(luò)設(shè)計(jì)好后,須對(duì)其進(jìn)行訓(xùn)練，使網(wǎng)絡(luò)具有再現(xiàn)專家評(píng)估的知識(shí)和經(jīng)驗(yàn)的能力。樣本數(shù)據(jù)來(lái)自我省已經(jīng)建成的高速公路隧道施工的現(xiàn)場(chǎng)數(shù)據(jù)庫(kù)，從中選取30組，其中20組數(shù)據(jù)作為訓(xùn)練樣本，余下的10組作為測(cè)試樣本。實(shí)際網(wǎng)絡(luò)訓(xùn)練表明，當(dāng)訓(xùn)練步數(shù)為12875時(shí)，達(dá)到了目標(biāo)要求的允差，獲得模糊神經(jīng)網(wǎng)絡(luò)各節(jié)點(diǎn)的權(quán)值和閾值，網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)成功。根據(jù)最大隸屬度原則進(jìn)行比較，與期望結(jié)果相符，其準(zhǔn)確率為100%。這說(shuō)明所建立的隧道施工系統(tǒng)安全評(píng)價(jià)模糊神經(jīng)網(wǎng)絡(luò)模型及訓(xùn)練結(jié)果可靠。
3 工程應(yīng)用實(shí)例
利用所訓(xùn)練好的模糊神經(jīng)網(wǎng)絡(luò)模型，對(duì)江西省正在施工的某高速公路A3合同段3座隧道（北晨亭隧道、洪家坂隧道和窯坑隧道）施工系統(tǒng)進(jìn)行安全評(píng)價(jià)測(cè)定，評(píng)價(jià)出系統(tǒng)的安全狀況與3座隧道施工實(shí)際情況完全相符。同時(shí)，實(shí)際系統(tǒng)的評(píng)價(jià)結(jié)果又可作為新的學(xué)習(xí)樣本輸入網(wǎng)絡(luò)模型，實(shí)現(xiàn)歷史經(jīng)驗(yàn)和新知識(shí)相結(jié)合,在發(fā)展過(guò)程中動(dòng)態(tài)地評(píng)價(jià)系統(tǒng)的安全狀態(tài)。
4 結(jié)論
（1）本文對(duì)模糊理論與神經(jīng)網(wǎng)絡(luò)融合技術(shù)進(jìn)行了研究，建立了一種公路隧道施工系統(tǒng)安全模糊神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)模型，利用歷史樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練和測(cè)試，并對(duì)工程實(shí)例進(jìn)行了評(píng)價(jià)。結(jié)果顯示，該評(píng)價(jià)方法可行，評(píng)價(jià)精度滿足工程應(yīng)用要求,為公路隧道施工安全評(píng)價(jià)探索了一種新的評(píng)價(jià)方法。
（2）運(yùn)用模糊神經(jīng)網(wǎng)絡(luò)知識(shí)存儲(chǔ)和自適應(yīng)性特征，通過(guò)適當(dāng)補(bǔ)充學(xué)習(xí)樣本，可以實(shí)現(xiàn)歷史經(jīng)驗(yàn)與新知識(shí)完美結(jié)合，在發(fā)展過(guò)程中動(dòng)態(tài)地評(píng)價(jià)公路隧道施工系統(tǒng)的安全狀態(tài)，可及時(shí)評(píng)估出施工系統(tǒng)的安全狀況，盡早發(fā)現(xiàn)安全隱患。
參考文獻(xiàn)：
[1]徐德蜀.安全科學(xué)與工程導(dǎo)論[M].北京:化學(xué)工業(yè)出版社,2005.
[2]劉鐵民,張興凱,劉功智.安全評(píng)價(jià)方法應(yīng)用指南[M].北京:化學(xué)工業(yè)出版社,2005.
[3]田建,李志強(qiáng),張斌.交通建設(shè)工程安全評(píng)價(jià)技術(shù)現(xiàn)狀及趨勢(shì)研究[J].中國(guó)安全科學(xué)學(xué)報(bào),2008,18(6):171-176.
[4]張鴻,劉優(yōu)平,黎劍華等.基于模糊理論的隧道施工安全預(yù)警模型研究及應(yīng)用[J].中國(guó)安全科學(xué)學(xué)報(bào),2009.19(4):5-10.
[5]劉輝,王海寧,呂志飛.模糊神經(jīng)網(wǎng)絡(luò)技術(shù)在礦山安全評(píng)價(jià)中的適應(yīng)性研究[J].中國(guó)安全生產(chǎn)科學(xué)技術(shù),2005,1(3):54-59.
[6]張吉禮.模糊-神經(jīng)網(wǎng)絡(luò)控制原理與工程應(yīng)用[M].哈爾濱:哈爾濱工業(yè)大學(xué)出版社,2004.
[7]葛淑杰,李彥峰,姜天文等.基于模糊神經(jīng)網(wǎng)絡(luò)的煤礦安全評(píng)價(jià)綜合評(píng)判[J].黑龍江科技學(xué)院學(xué)報(bào),2007,17(4):321-325.
[8]鄭恒,汪佩蘭.模糊神經(jīng)網(wǎng)絡(luò)在火工品生產(chǎn)系統(tǒng)安全評(píng)價(jià)中的應(yīng)用[J].安全與環(huán)境學(xué)報(bào),2004,4:159-162.
[9田軍.基于模糊神經(jīng)網(wǎng)絡(luò)的隧道圍巖分級(jí)系統(tǒng)[J].湖南交通科技,2007,34(4):104-107.
[10]郭宇航,王保國(guó).兩類新型神經(jīng)網(wǎng)絡(luò)及其在安全評(píng)價(jià)中的應(yīng)用[J].中國(guó)安全科學(xué)學(xué)報(bào),2008,18(7):28-33.
[11]宋瑞,鄧寶.神經(jīng)元網(wǎng)絡(luò)在安全評(píng)價(jià)中的應(yīng)用[J].中國(guó)安全科學(xué)學(xué)報(bào),2005,15(3):78-81.
[12]韓力群.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用[M].北京:化學(xué)工業(yè)出版社,2007.
[13]楊綸標(biāo),高英儀.模糊數(shù)學(xué)原理及應(yīng)用[M].廣州:華南理工大學(xué),2005.
第6篇：梯度下降法的基本原理范文
關(guān)鍵詞：避障；模式識(shí)別；全向移動(dòng)機(jī)器人；超聲波傳感器；BP神經(jīng)網(wǎng)絡(luò)；樣本庫(kù)；分類誤差；仿真
中圖分類號(hào)：TP242.6 文獻(xiàn)標(biāo)識(shí)碼：A
Obstacles based on BP neural network pattern recognition
ZHANG Qiuhao，MENG Xianhui，GUO Hongche，SUN Baiqing
（Shenyang University of Technology，Shengyang 110870）
Abstract：Adopted theory of BP neural network to realize pattern identification of obstacle. Constructed a kind of neural network classifier based on BP algorithm, according to the characteristics of omni-directional mobile robot.Taked the distance of obstacle acquired by ultrasound sensor as input,classificaion pattern expected as output, then, trained the parameter of BP neural network classifier through training the data in sample library. Simulated the process of training with Matlab software. During training, this pattern classification could gain less error and gain correct resullt by adopting testing sample to test classifier. Showed that this kind of BP neural network classifier can execute effectively pattern classification to obstacles around mobile robot.
Key words：obstacle avoidance；pattern classification；omni-directional mobile robot；ultrasonic sensors；BP neural network；Sample library；Classification error；computer simulink
移動(dòng)機(jī)器人的智能避障算法已經(jīng)有許多學(xué)者進(jìn)行了深入的研究，機(jī)器人在導(dǎo)航過(guò)程中，對(duì)障礙物的模式識(shí)別是感知當(dāng)前環(huán)境的一種重要方法，適合移動(dòng)機(jī)器人本身特點(diǎn)的障礙物模式識(shí)別是好的避障算法的基礎(chǔ)。其中應(yīng)用人工神經(jīng)網(wǎng)絡(luò)對(duì)障礙物進(jìn)行模式的分類和識(shí)別也有很多[1-2]。在運(yùn)用模式識(shí)別的若干種神經(jīng)網(wǎng)絡(luò)模型中，BP模型應(yīng)用最為廣泛。其非線性映射能力是保證其成功實(shí)現(xiàn)各種簡(jiǎn)單或復(fù)雜分類的主要原因，而并行結(jié)構(gòu)則加速了運(yùn)算。更重要的是，它將信息分布式存儲(chǔ)于連接權(quán)系數(shù)中，使網(wǎng)絡(luò)具有很高的容錯(cuò)性和魯棒性，有效地解決了模式分類和識(shí)別中普遍存在的噪聲干擾和輸入模式的部分損失問(wèn)題 [3] 。
1 BP神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)和機(jī)理
1.1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
BP神經(jīng)網(wǎng)絡(luò)，也稱誤差后向傳播神經(jīng)網(wǎng)絡(luò)【4】，它是由非線性變換單元組成的多層前饋網(wǎng)絡(luò)。一般由輸入層、輸出層和隱含層三部分組成。隱含層可以為一層或多層。根據(jù)Kolmogorov定理（1957）[5]，一個(gè)三層的BP網(wǎng)絡(luò)足可以完成任意的m維到q維的映射，即一般只需一個(gè)隱含層就夠了。同時(shí)從簡(jiǎn)潔實(shí)用的角度考慮，也提倡選用一個(gè)隱含層，隱含層含有n個(gè)神經(jīng)元。輸入層和隱含層之間以及隱含層和輸出層之間通過(guò)權(quán)值來(lái)表示連接強(qiáng)度。這就是三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（如圖3-1）。
輸入層輸入向量X=[x1,x2,…，xi，…xm]T，隱含層輸出向量為Y=[ y1,y2,…，yj，…yn]T,輸出層輸出向量為Z=[ z1,z2,…，zk，…zq]T，期望輸出向量為T=[ t1,t2,…，tk，…tq]T。輸入層到隱含層之間的權(quán)值矩陣用A表示，A=[ a1,a2,…，aj，…an]，其中列向量aj為隱含層第j個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)值向量，隱含層到輸出層之間的權(quán)值矩陣用B表示，B=[ b1,b2,…，bk，…bq]，其中列向量bk為輸出層第k個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)值向量。
1.2 BP算法
BP算法的思想是，學(xué)習(xí)過(guò)程即信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。
由信號(hào)的正向傳播，這里定義f（*）為神經(jīng)元激勵(lì)函數(shù)，對(duì)于隱含層有
yj =f（netj） j=1，2，…，n （1）
netj= aijxi j=1，2，…，n （2）
對(duì)于輸出層有
zk =f（netk） k=1，2，…，q （3）
netk= bjkyj k=1，2，…，q （4）
再來(lái)看誤差的反向傳播和權(quán)值的修正，BP算法采用非線性規(guī)劃中的最速下降法，按誤差函數(shù)的負(fù)梯度方向修改權(quán)值系數(shù)。
定義誤差函數(shù)E，取期望輸出和實(shí)際輸出之差的平方和為誤差函數(shù)，則：
E=12 (T-Z)2=12 (tk-zk)2 k=1，…，q （5）
進(jìn)一步展開(kāi)至輸入層
E=12 {tk-f[ bjkf( aijyi)]｝2 其中k=1，…，n j=1,…,n i=1,…,m （6）
由上式可以看出，網(wǎng)絡(luò)輸入誤差是各層權(quán)值aij、bjk的函數(shù)，因此調(diào)整權(quán)值可以改變誤差E。調(diào)整權(quán)值的原則是使誤差不斷的減小，應(yīng)使權(quán)值的調(diào)整量與誤差的負(fù)梯度成正比，即：
aij= i=1,2,…,m j=1,2,…,n （7）
bij= j=1,2,…,n k=1,2,…,q （8）
式中負(fù)號(hào)表示梯度下降，η∈（0，1）為學(xué)習(xí)率。
各層權(quán)值調(diào)整過(guò)程是循環(huán)進(jìn)行的。權(quán)值不斷調(diào)整的過(guò)程，就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。通過(guò)不斷的調(diào)整權(quán)值和新的數(shù)據(jù)不斷加入，可以使誤差逐漸的減小。
2 構(gòu)建BP神經(jīng)網(wǎng)絡(luò)分類器結(jié)構(gòu)
模式識(shí)別的分類問(wèn)題歸根結(jié)底是一個(gè)模式特征空間的劃分問(wèn)題，或者說(shuō)是一種映射問(wèn)題。而B(niǎo)P網(wǎng)絡(luò)的輸入輸出關(guān)系可以看成是一種高度非線性的映射關(guān)系，其信息處理能力也是來(lái)自于一種簡(jiǎn)單的非線性函數(shù)的多次復(fù)合。根據(jù)BP網(wǎng)絡(luò)結(jié)構(gòu)定理及有關(guān)性質(zhì)，大家知道，對(duì)于任何在閉區(qū)間內(nèi)的一個(gè)連續(xù)函數(shù)都可以用一個(gè)隱含層的BP網(wǎng)絡(luò)來(lái)逼近，也就是說(shuō)一個(gè)三層的BP網(wǎng)絡(luò)可以完成任意的n維到q維的映射。BP網(wǎng)絡(luò)分類器就是在這個(gè)基礎(chǔ)上達(dá)成對(duì)樣本分類的，也就是說(shuō)我們可以應(yīng)用BP網(wǎng)絡(luò)分類器完成從環(huán)境信息到環(huán)境分類的映射。
本課題應(yīng)用的移動(dòng)機(jī)器人（如圖2）采用的是全方位移動(dòng)機(jī)構(gòu)（如圖2-a為俯視圖 ），車輪為全向輪（如圖2-b），當(dāng)車輪旋轉(zhuǎn)時(shí)，輪心相對(duì)于地面的速度 是輪轂速度 與輥?zhàn)訚L動(dòng)速度 的合成， 與 垂直。這種結(jié)構(gòu)的車輪在驅(qū)動(dòng)力的作用下可以前進(jìn)或后退，當(dāng)受到橫向的外力時(shí)又可以自由的橫向移動(dòng)，因此經(jīng)過(guò)適當(dāng)?shù)慕M合后就可以實(shí)現(xiàn)機(jī)器人的全方向移動(dòng)和原地轉(zhuǎn)向運(yùn)動(dòng)，以及這兩種運(yùn)動(dòng)的合成[6]。
結(jié)合全向移動(dòng)機(jī)器人能夠全方位移動(dòng)和原地轉(zhuǎn)向的特點(diǎn)，對(duì)周圍障礙物分類比較具體化，更貼近于實(shí)際。本次研究把其周圍障礙物的模式分為10類 （如圖3）。為減小輸出層神經(jīng)元數(shù)，我們做一次處理，采用二進(jìn)制編碼來(lái)作為輸出的目標(biāo)向量。把10類用4位用二進(jìn)制編碼表示，如0000,0001,…,1010等。故輸出層的神經(jīng)元的個(gè)數(shù)為4個(gè)，即k=4。
移動(dòng)機(jī)器人的工作環(huán)境空間是一個(gè)二維空間，其只對(duì)障礙物的形狀和距離車體的遠(yuǎn)近敏感，所以把機(jī)器人和周圍環(huán)境中的障礙物的距離做為BP神經(jīng)網(wǎng)絡(luò)分類器的輸入。采用NU40C10T/R-2型超聲波傳感器和AT89S51單片機(jī)組成系統(tǒng)對(duì)周圍環(huán)境中的障礙物進(jìn)行測(cè)距【7】，。NU40C10T/R-2型超聲波傳感器的方向角為60±15°,標(biāo)稱頻率40kHz。AT89S51單片機(jī)通過(guò)RS232接口電路與PC連接，從而可以把檢測(cè)的數(shù)據(jù)傳給PC進(jìn)行處理。
結(jié)合全向動(dòng)機(jī)器人的特點(diǎn)和BP神經(jīng)網(wǎng)絡(luò)分類器所要的分類結(jié)果，要求機(jī)器人對(duì)周圍環(huán)境的感知要全面，傳感器在機(jī)器人上的分布（如圖4），并且對(duì)傳感器進(jìn)行了編號(hào)，為以后研究做準(zhǔn)備。從而可以確定輸入神經(jīng)元的個(gè)數(shù)為15，即m=15。傳感器所測(cè)定的距離值就做為BP神經(jīng)網(wǎng)絡(luò)分類器的輸入,并且在程序上把對(duì)障礙物檢測(cè)的距離做了處理，500mm為安全距離，一般機(jī)器人不會(huì)靠近障礙物500mm。檢測(cè)距離大于1000mm的賦值1000mm。
隱含層神經(jīng)元的個(gè)數(shù)，這里應(yīng)用了一個(gè)經(jīng)驗(yàn)公式n= +β，其中n為隱含層神經(jīng)元的個(gè)數(shù)，m為輸入層神經(jīng)元個(gè)數(shù)，q為輸出層神經(jīng)元個(gè)數(shù)，β為1-10之間的任意一個(gè)數(shù)，取β=6?？傻胣= +10=16，即n=16。
選擇S函數(shù)為神經(jīng)元激勵(lì)函數(shù)[8]。因?yàn)檩敵鰹槎M(jìn)制編碼（0，1），所以在輸出層選擇S型對(duì)數(shù)正切函數(shù)（式9）。隱含層激勵(lì)函數(shù)我們也選取這個(gè)函數(shù)。即我們前面1.2節(jié)所提到的f（*）有
（9）
3 BP神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練和測(cè)試
Fig.5 BP Neural network classifier
構(gòu)建完了BP神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)即各層元素個(gè)數(shù)，我們就通過(guò)訓(xùn)練來(lái)確定各層元素之間的連接強(qiáng)度即權(quán)值系數(shù)。從而就得到一個(gè)BP神經(jīng)網(wǎng)絡(luò)分類器，然后我們?cè)賹?duì)它評(píng)價(jià)。這就是BP神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練和測(cè)試流程（如圖5）。
首先，建立好的訓(xùn)練樣本庫(kù)，網(wǎng)絡(luò)的性能與訓(xùn)練的樣本密切相關(guān)，既要有成規(guī)模的訓(xùn)練樣本，又要樣本有很好的全面性和代表性。應(yīng)用樣本數(shù)據(jù)通過(guò)訓(xùn)練來(lái)確定BP神經(jīng)網(wǎng)絡(luò)分類器中的權(quán)值，當(dāng)權(quán)值確定好后，意味著B(niǎo)P神經(jīng)網(wǎng)絡(luò)分類器生成。然后我們可以用一些新的實(shí)時(shí)數(shù)據(jù)進(jìn)行進(jìn)行測(cè)驗(yàn)，這樣就能夠?qū)Ψ诸惼鬟M(jìn)行評(píng)價(jià)。
本次研究對(duì)每個(gè)期望劃分出來(lái)的類型進(jìn)行10次的數(shù)據(jù)采集，生成訓(xùn)練樣本庫(kù)。由于寫(xiě)作條件的限制，本文只列舉出其中每類輸出的3次采集數(shù)據(jù)代表訓(xùn)練樣本庫(kù)。其中輸入量為傳感器所測(cè)量的距離值，輸出類為我們所期望的BP神經(jīng)網(wǎng)絡(luò)分類器所分類出來(lái)的結(jié)果。
根據(jù)前面1節(jié)所述BP神經(jīng)網(wǎng)絡(luò)的機(jī)理和其訓(xùn)練和測(cè)試流程，首先我們通過(guò)matlab對(duì)訓(xùn)練的過(guò)程和結(jié)果進(jìn)行仿真[9-10]，其中學(xué)習(xí)率η=0.05，允許誤差為5%，把100個(gè)訓(xùn)練樣本數(shù)據(jù)訓(xùn)練100次。
程序如下：
p_test=xlsread('訓(xùn)練樣本.xls','sheet1','A103:O105');
t_test=xlsread('訓(xùn)練樣本.xls','sheet1','P103:S105');
P=xdata;
T=ydata;
net=newff(minmax(P),[16,4],{'tansig','tansig'},'trainlm');%trainscg; trainlm; trainrp
net.trainParam.show=50;%
net.trainParam.lr=0.1;
net.trainParam.epochs=100;
net.trainParam.goal=5*1e-2;
[net,tr]=train(net,P,T);
執(zhí)行結(jié)果：
TRAINLM, Epoch 0/100, MSE 0.762867/0.05, Gradient 90881.1/1e-010
TRAINLM, Epoch 50/100, MSE 0.0754328/0.05, Gradient 89.035/1e-010
TRAINLM, Epoch 100/100, MSE 0.0723378/0.05, Gradient 107.27/1e-010
TRAINLM, Maximum epoch reached, performance goal was not met.
所得到的分類誤差曲線，
從仿真的結(jié)果看誤差為7%左右，沒(méi)有達(dá)到要求的5%，因?yàn)楫?dāng)前的訓(xùn)練樣本數(shù)據(jù)還是比較少的，所以結(jié)果也是可以接受的。
然后，我們用一個(gè)測(cè)試樣本（如表2）對(duì)我們訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行測(cè)試。
程序如下：
BP神經(jīng)網(wǎng)絡(luò)分類器對(duì)測(cè)試樣本的數(shù)據(jù)分類是正確的。
通過(guò)以上的matlab中的仿真，我們用從訓(xùn)練樣本仿真中得到了BP神經(jīng)網(wǎng)絡(luò)分類器固化參數(shù)，然后對(duì)于這個(gè)分類器進(jìn)行測(cè)試也得到了正確的結(jié)果。
4 結(jié)論
本文介紹了BP神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)和機(jī)理，基于全向移動(dòng)機(jī)器人的運(yùn)動(dòng)特點(diǎn)的分類器輸入和輸出描述，從而構(gòu)造出一種基于BP算法的神經(jīng)網(wǎng)絡(luò)分類器，通過(guò)matlab軟件的仿真，這種BP神經(jīng)網(wǎng)絡(luò)分類器能夠很好的對(duì)全向移動(dòng)機(jī)器人周圍的障礙物模式進(jìn)行分類，為全向移動(dòng)機(jī)器人智能避障打造了很好的基礎(chǔ)。
參考文獻(xiàn) (References)：
[1] 張明路，彭商賢等.用于移動(dòng)機(jī)器人避障的人工神經(jīng)網(wǎng)絡(luò)和模糊邏輯控制技術(shù)[J].中國(guó)機(jī)械工程：1997，8(2)：21～24.
ZHANG Ming-lu,Peng SHANG-xian,et al.For mobile robot obstacle avoidance of artificial neural networks and fuzzy logic control technology[J]. Chinese Mechanical Engineering：1997，8(2)：21～24.
[2] 施鴻寶.神經(jīng)網(wǎng)絡(luò)及應(yīng)用[M].西安：西安交通大學(xué)出版社，1993.1.
SHI Hong-bao,Neural Networks and applications[M]. Xi'an：Xi'an Jiaotong University，1993.1.
[3] 董聰，劉西拉.廣義BP算法及網(wǎng)絡(luò)容錯(cuò)性和泛化能力研究[J].控制與決策，1998.3；13：120～124.
DONG Cong，LIU Xi-la.Generalized BP algorithm and network fault tolerance and generalization ability of Study[J].Control and Decision，1998.3；13：120～124.
[4] 江虹，曾立波等.優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與應(yīng)用，2001，(5).：122.
JIANG Hong，ZENG Li-bo，et al. Optimized BP Neural Network Classifier Design and Implementation[J]. Computer Engineering and Applications，2001，(5).：122.
[5] 焦李成.神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論[M].西安：西安電子科技大學(xué)出版社，1996.
JIAO Li-cheng.Neural network theory[M].Xi'an：Xidian University Press，1996.
[6] 楊俊友，李慶宇等.下肢康復(fù)機(jī)器人結(jié)構(gòu)設(shè)計(jì)及動(dòng)力學(xué)仿真[J].沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào)，2010，(5)：514～519.
YANG Jun-you，LI Yu-qing，et al.Mechanical structure design and kinetic simulation of lower limbs rehabilitative robot[J].Journal of Shenyang University of Technology，2010，(5)：514～519.
[7] 廖一，賀漢根等.遠(yuǎn)距離超聲波傳感器在測(cè)距系統(tǒng)中的設(shè)計(jì)與應(yīng)用[J].傳感器與儀器儀表：2009，(25)：90～92.
LIAO Yi，HE Han-gen，et al. Distance ranging ultrasonic sensors in the system design and application[J]. Sensors and Instrumentation，2010，(5)：514～519.
[8] 史曉霞，陳一民等.神經(jīng)網(wǎng)絡(luò)在應(yīng)用科學(xué)和工程中的應(yīng)用-從基本原理到復(fù)雜的模式識(shí)別[M].北京：機(jī)械工業(yè)出版社，2009.7.
SHI Xiao-xia，CHEN Yi-min，et al. Neural networks in applied science and engineering - from basic principles to complex pattern recognition[M].Bei Jing：Machinery Industry Press，2009.7.
[9] 董長(zhǎng)虹.MATLAB神經(jīng)網(wǎng)絡(luò)與應(yīng)用[M].北京：北京航空航天大學(xué)出版社，2005.
DONG Chang-hong.MATLAB Neural Networks and Applications[M]. Beijing： Aerospace University Press，2005.
[10] 高雋.人工神經(jīng)網(wǎng)絡(luò)原理及仿真實(shí)例[M].北京：機(jī)械工業(yè)出版社，2003.
GAO Yong.Artificial neural network and simulation examples[M]. Bei Jing：Machinery Industry Press，2003.
第7篇：梯度下降法的基本原理范文
非負(fù)矩陣分解（NMF）要求分解得到的左矩陣為列滿秩，這限制了它在欠定盲分離（UBSS）中的應(yīng)用。針對(duì)此問(wèn)題，提出基于帶行列式和稀疏性約束的NMF的欠定盲分離算法――DSNMF。該算法在基本NMF的基礎(chǔ)上，對(duì)NMF得到的左矩陣進(jìn)行行列式準(zhǔn)則約束，對(duì)右矩陣進(jìn)行稀疏性約束，平衡了重構(gòu)誤差、混合矩陣的唯一性以及分離信號(hào)的稀疏特性，實(shí)現(xiàn)了對(duì)混合矩陣和源信號(hào)的欠定盲分離。仿真結(jié)果表明，在源信號(hào)稀疏性較好和較差兩種情況下，DSNMF都能取得良好的分離效果。
ス丶詞：
欠定盲分離；非負(fù)矩陣分解；稀疏性；行列式準(zhǔn)則
ブ型擠擲嗪牛 TN911
文獻(xiàn)標(biāo)志碼：A
英文標(biāo)題
Algorithm for underdetermined blind source separation based on DSNMF
び⑽淖髡咼
LU Hong1, ZHAO Zhijin1,2, YANG Xiaoniu2
び⑽牡刂(
1. College of Communication Engineering, Hangzhou Dianzi University, Hangzhou Zhejiang 310018, China;
2. State Key Laboratory of Information Controlling Technology in Communications System, No.36 Research Institute of China Electronic Technology Corporation, Jiaxing Zhejiang 314033, China
英文摘要
)
Abstract:
The decomposed left matrix of Nonnegative Matrix Factorization (NMF) is required to be full column rank, which limits of its application to Underdetermined Blind Source Separation (UBSS). To address this issue, an algorithm for UBSS based on determinant and sparsity constraint of NMF, named DSNMF, was proposed in this paper. On the basis of standard NMF, determinant criterion was used for constraining the left matrix of NMF, while sparsity was used for constraining the right one. In this way, the reconstruction error, the uniqueness of mixing matrix and the spasity of original sources can be equipoised, which leads to the underdetermined blind separation of mixing matrix and original sources. The simulation results show that DSNMF both works well for good and poor sparsity of sources separation.
英文關(guān)鍵詞
Key words:
Underdetermined Blind Source Seperation (UBSS); Nonnegative Matrix Factorization (NMF); sparsity; determinant criterion
0 引言
非負(fù)矩陣分解（Nonnegative Matrix Factorization, NMF）是D.D.Lee和H.S.Seung1999年在《Nature》雜志上發(fā)表的一種新的矩陣分解方法［1］。其基本思想是在非負(fù)限制下將矩陣V∈Rm×N分解成兩個(gè)矩陣W∈Rm×n和H∈Rn×N的乘積，并使分解結(jié)果盡可能地滿足V≈WH，其中W和H中的元素非負(fù)。其數(shù)學(xué)模型可表示為：
V=WH(1)
在實(shí)際應(yīng)用中，人們往往對(duì)分解結(jié)果W和H施以除非負(fù)性之外的如稀疏性［2］、正交性［3］ 和平滑性［4］等限制，從而使分解結(jié)果更加合理。NMF及其拓展方法廣泛應(yīng)用于數(shù)據(jù)挖掘、模式識(shí)別、目標(biāo)檢測(cè)、文本聚類、稀疏表示與編碼和盲源分離等領(lǐng)域［5-8］。
盲源分離（Blind Source Separation, BSS）指在不知道源信號(hào)和傳輸信道參數(shù)的情況下，僅利用混合信號(hào)，恢復(fù)出源信號(hào)的過(guò)程，其數(shù)學(xué)模型可以表示為：
X=AS(2)
其中:S=s1,s2,…,snT∈Rn×N是n個(gè)N維信源信號(hào)構(gòu)成的信源矩陣，X=x1,x2,…,xmT∈Rm×N是m個(gè)N維觀測(cè)信號(hào)構(gòu)成的觀測(cè)矩陣，A∈Rm×n為未知混合矩陣。BSS的目標(biāo)是，在A未知的條件下根據(jù)已知的X估計(jì)未知的S。根據(jù)混合矩陣A的類型，BSS問(wèn)題可分為超定（m>n）、正定（m=n）和欠定（m
X=WH(3)
使得W和H分別是A和S的估計(jì)。并且在BSS問(wèn)題中，許多情況下源信號(hào)取值是非負(fù)的，如像素信號(hào)、信號(hào)能量等，在非負(fù)約束下式(3)與式(1)是一致的。
信號(hào)的稀疏性是自然界許多信號(hào)的基本屬性，是指信號(hào)在絕大多數(shù)的采樣點(diǎn)取值較小或?yàn)榱?，少?shù)的采樣點(diǎn)取值明顯較大或偏離零，如像素信號(hào)、機(jī)械故障信號(hào)等。雖然某些信號(hào)在時(shí)域表現(xiàn)非稀疏，但進(jìn)行小波變換或傅里葉變換之后，往往在變換域表現(xiàn)出稀疏性。因此，稀疏性作為一個(gè)重要的先驗(yàn)條件被廣泛用于解欠定盲分離（Underdetermined BSS，UBSS）問(wèn)題［9-10］。
NMF模型中，矩陣V的列向量可以解釋為W矩陣中所有列向量（即基向量）的加權(quán)和，權(quán)重系數(shù)為H矩陣中對(duì)應(yīng)列的元素。通過(guò)NMF算法由V分解得到W，若W是唯一的，那么由方程理論可知W必為列滿秩的Вm≥n）。гUBSS問(wèn)題中，A為行滿秩的，欠定系統(tǒng)不可逆，因此，僅有分解元素的非負(fù)約束，基本NMF算法難以獲得唯一的W。針對(duì)這一問(wèn)題，Cichocki等人提出HALS算法［11］，采用將重構(gòu)誤差分層處理的方法，使每一層分解信號(hào)在迭代后都盡可能地稀疏。在源信號(hào)稀疏性良好的情況下，該算法可以獲得較好的分離結(jié)果，但對(duì)于源信號(hào)稀疏性不好的情況，分解結(jié)果偏離了方向，無(wú)法得到正確的分離結(jié)果。因此，本文針對(duì)此問(wèn)題提出一種基于帶有行列式和稀疏性約束的非負(fù)矩陣分解的盲分離方法，記為DSNMF。該方法在基本NMF的基礎(chǔ)上對(duì)分解得到的W和H分別進(jìn)行行列式準(zhǔn)則約束和稀疏約束，使之符合UBSS中A和S的特性，獲得了較好的欠定盲分離效果。
┑2期
盧宏等：基于行列式和稀疏性約束的NMF的欠定盲分離方法
┆撲慊應(yīng)用 ┑31卷
1 基本原理
1.1 行列式準(zhǔn)則
定義 設(shè)P(W)是由矢量w┆1,…,w┆i,…,w┆n張成的空間，如果W是方陣，那么P(W)的體積可記為vol(P)=det(W)；如果W不是方陣，那么vol(P)=det(WWT)［12］。
行列式準(zhǔn)則：如果矢量w┆1,…,w┆i,…,w┆n張成的空間為P(W)В且有vol(P)ё钚。則這些矢量是唯一的。
將觀測(cè)點(diǎn)x┆l(l=1,2,…，N)Э闖墑怯瑟nЦ齜歉夯旌鮮噶w┆1,…,w┆i,…,w┆n的線性加權(quán)和，那么式(3)可寫(xiě)成：
x┆l=∑ni=1w┆iHil; 1≤l≤N(4)
其中：w┆i為歸一化的列矢量。那么在給出觀測(cè)信號(hào)矩陣X，混合矢量個(gè)數(shù)nШ頭歉涸際的條件下，NMF的目標(biāo)就是找到構(gòu)成W的列矢量。在沒(méi)有其他約束的情況下，X可分解成無(wú)數(shù)組W與H的乘積。假設(shè)式(4)中n=2В圖1所示的散點(diǎn)是由W中兩列矢量加權(quán)得到的，a1、a2是散點(diǎn)圖邊緣的兩條單位矢量，a1′、a┆2 ′是由NMF得到的一組可能的解。г謁有能夠加權(quán)得到圖中散點(diǎn)的單位向量組中，由a1、a2Я礁雋惺噶空懦傻鈉叫興謀咝械奶寤是最小的，且a1Ш酮a2是唯一的。
因此，利用NMF和行列式準(zhǔn)則能夠得到構(gòu)成W的唯一一組混合矢量。
圖片
圖1 二維基于行列式準(zhǔn)則的最小體積法
1.2 稀疏測(cè)度分析
如果源信號(hào)是稀疏的，那么在式(3)NMF模型中，應(yīng)使分解得到的HЬ哂邢∈櫳裕也就是說(shuō)NMF應(yīng)使得Hе芯】贍芏嗟腦素取值為零或接近于零，即Hе蟹橇閽素盡可能地少。那么，數(shù)學(xué)上該問(wèn)題可以歸結(jié)為l0范數(shù)優(yōu)化問(wèn)題：
min J(H)=H0=Аi,jHij0
s.t.V=WH(5)
其中:l0范數(shù)表示稀疏測(cè)度，АH0П硎揪卣H中非零元素的數(shù)目，即：
Hij0=1,Hij≠0Hij0=0,Hij=0 オ
雖然求解式(5)可以使H最稀疏，但解并不唯一，且對(duì)噪聲極為敏感，魯棒性差，難以有效求解，為此文獻(xiàn)［13］提出采用l1范數(shù)測(cè)度稀疏性，那么式(5)改寫(xiě)為：オ
Иmin J(H)=H1=∑i,jHij1
s.t. V=WH (6)
文獻(xiàn)［14-15］證明了在H稀疏的情況下，l1范數(shù)優(yōu)化問(wèn)題與l0范數(shù)優(yōu)化問(wèn)題是等價(jià)的，但l1范數(shù)更容易求解，魯棒性好。因此本文采用l1范數(shù)作為稀疏測(cè)度方法。
2 基于
帶行列式和稀疏性約束NMF的欠定盲分離
2.1 基本NMF算法
任意給定非負(fù)矩陣V∈Rm×N，運(yùn)用NMF可以將V分解為非負(fù)矩陣W∈Rm×n和非負(fù)矩陣H∈Rm×N的乘積，且有V≈WH。由于分解過(guò)程的非負(fù)限制，分解結(jié)果WH很難與V相等，難以達(dá)到無(wú)損分解，只能使二者盡可能相等，那么，NMF問(wèn)題就轉(zhuǎn)化為如下的最優(yōu)化問(wèn)題：
min D(VWH)
Иs.t. Wik,Hkj>0,∑iWik=1,1≤k≤n(7)
其中：D(VWH)是V與WH的距離函數(shù)，即重構(gòu)誤差。定義基于歐幾里得距離的目標(biāo)函數(shù) ［16］如下：
D(VWH)=12V－WH2=12Аi,j(Vij－(WH)ij)2
s.t. Wik,Hkj>0,АiWik=1,1≤k≤n(8)
從而問(wèn)題轉(zhuǎn)化為帶約束的非線性規(guī)劃問(wèn)題。
2.2 DSNMF算法
將行列式準(zhǔn)則（Determinant Criterion， DC）約束與稀疏性約束同時(shí)引入式(8)，以平衡重構(gòu)誤差、混合矩陣W的唯一性和分離信號(hào)H的稀疏性。記優(yōu)化目標(biāo)函數(shù)為F(VWH)，其數(shù)學(xué)表達(dá)式如下：
F(VWH)=αDD(VWH)+αWvol(P(W))+αHJ(H)
Иs.t. Wik,Hkj>0,ИАiWik=1,1≤k≤n(9)お
其中：vol(P(W))=detWWT表示對(duì)混合矩陣W行列式準(zhǔn)則約束；J(H)=Аk,jHkj1表示對(duì)分解得到的信號(hào)稀疏性的約束；Е聯(lián)D、αW和αH為平衡參數(shù)，通常取αD=1/（m×N），│聯(lián)W=1，αH=c/（n×N），cП硎疽懷J，通常取1，在源信號(hào)稀疏性較強(qiáng)時(shí)可適當(dāng)增大，如取10、100等。最小化F(VWH)可得到W和H。式(9)對(duì)于單獨(dú)的W和H都是凸函數(shù)，但是同時(shí)對(duì)于W和H來(lái)說(shuō)卻不是凸函數(shù)。因此，采用與文獻(xiàn)［16］相似的梯度下降法，交替更新W和H。更新規(guī)則為：
Wik=Wik－ηWF(VWH)WikHkj=Hkj－ηHF(VWH)Hkj (10)
ИF(VWH)Wik=［－VHT+WHHT］ik+αW det (WWT)WikおF(VWH)Hkj=［－WVT+WTWH］kj+αHJ(H)Hkj(11)オ
И det(WWT)Wik=det(WWT)［(WWT)－1W］ik(12)オ
選擇學(xué)習(xí)速率［16］：
ηW=Wik［WHHT］ik，ηH=Hkj［WTWH］kj(13)
將式（11）、式（13）代入式（10）可以得到混合矩陣元素和源信號(hào)分量的乘性迭代更新規(guī)則：
Wik=Wik(［VHT］ik［WHHT］ik+ε－αWdet(WWT)［(WWT)－1W］ik［HTHW］ik+ε)お
Hkj=Hkj［WTV］kj－αH［WTWH］kj+ε(14)お
其中：ε是一很小的正常數(shù)，防止分母出現(xiàn)為零的情況。每一步迭代之后將W和H負(fù)元素置零，且使用Wik=Wik/∑kWik對(duì)W的列向量進(jìn)行歸一化，Ъ幢疚奶岢齙DSNMF欠定盲分離方法。
3 性能仿真與分析
3.1 算法性能評(píng)價(jià)
采用分離信號(hào)和源信號(hào)的重構(gòu)信噪比(Signal to Noise Ratio, SNR)作為對(duì)于盲分離算法性能的評(píng)價(jià)指標(biāo)［9］。
SNR=10 lgS2－S2(15)
其中：S和分別是源信號(hào)和被分離出的源信號(hào)，通過(guò)歸一化使之具有相同的能量，SNR越大信號(hào)分離效果越好。
3.2 兩組實(shí)驗(yàn)
實(shí)驗(yàn)一 源信號(hào)稀疏性較好的欠定盲分離。取自NMFLAB實(shí)驗(yàn)工具箱的4個(gè)稀疏源信號(hào)［17］，如圖2(a)所示，選取隨機(jī)的混合矩陣為：
第8篇：梯度下降法的基本原理范文
關(guān)鍵詞：中藥水提液；膜污染；BP神經(jīng)網(wǎng)絡(luò)；隱含層神經(jīng)元；遺傳算法
DOI：10.3969/j.issn.1005-5304.2017.04.023
中圖分類號(hào)：R2-05；R284.2 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1005-5304（2017）04-0092-05
Study on Forecasting Ceramic Membrane Fouling in TCM Extracts Based on Improved BP Neural Network DOU Peng-wei， WANG Zhen， SHE Kan-kan， FAN Wen-ling （Institute of Information Technology， Nanjing University of Chinese Medicine， Nanjing 210023， China）
Abstract： Objective To prevent and treat of ceramic membrane purification of membrane fouling process of TCM extracts； To explore new methods of forecasting membrane fouling degree. Methods BP neural network model was improved. Methods to fast determine the optimal number of neurons in the hidden layer and fast algorithm for optimizing the weight and threshold of BP neural network were studied. Data of 207 groups of TCM extracts were under network training and prediction. Results Compared with the models of multiple regression analysis， basic BP neural network and RBF neural network， the error of the improved BP neural network model was less than that of the BP neural network model， and the mean square error was only 0.005 7. In addition， the improved BP neural network model performance was more stable. In the 20 random running experiments， the goal of the success rate achieved up to 95%. Conclusion The improved model has a good network performance， the fitting effect and prediction ability， and can forecast the fouling degree of membrane stably and accurately.
Key words： TCM extracts； membrane fouling； BP neural network； hidden layer neuron； genetic algorithm
中藥水提液的純化技術(shù)是中藥制劑前處理中應(yīng)用最多的工藝方法之一。陶瓷膜因具有耐高溫、化學(xué)性質(zhì)穩(wěn)定、抗污染性強(qiáng)、機(jī)械強(qiáng)度高等優(yōu)點(diǎn)[1]，被廣泛應(yīng)用于中藥水提液的純化過(guò)程。然而，膜污染是制約陶瓷膜精制中藥的關(guān)鍵問(wèn)題。
膜污染是指由于被過(guò)濾液中的微粒、膠體離子、溶質(zhì)分子與膜存在物理化學(xué)作用而引起的各種粒子在膜表面或膜孔內(nèi)吸附或沉積，造成膜孔堵塞或變小并使膜的透過(guò)流量與分離特性產(chǎn)生不可逆變化的一種現(xiàn)象[2]。中藥水提液組成復(fù)雜，是一種含有懸浮的固體微粒、膠體粒子和完全溶解溶質(zhì)分子的復(fù)雜混懸體，在分離過(guò)濾操作時(shí)膜極易被污染，造成膜通量銳減[3-4]。目前，中藥水提液陶瓷膜膜污染機(jī)理尚不明確，過(guò)濾過(guò)程缺乏系統(tǒng)性理論指導(dǎo)及有效的膜污染控制手段。
中藥水提液陶瓷膜膜污染是多種復(fù)雜因素綜合作用的結(jié)果，具有較強(qiáng)的不確定性，難以采用特定函數(shù)模型描述。要實(shí)現(xiàn)對(duì)膜污染的準(zhǔn)確預(yù)測(cè)，需要建立合理實(shí)用的預(yù)測(cè)模型。BP神經(jīng)網(wǎng)絡(luò)是近年被廣泛應(yīng)用的一種模擬人腦神經(jīng)系統(tǒng)結(jié)構(gòu)和功能的人工智能方法，是一種解決非線性、不確定性問(wèn)題的數(shù)學(xué)模型，具有連續(xù)傳遞函數(shù)的多層前饋人工神經(jīng)網(wǎng)絡(luò)，訓(xùn)練方式為誤差反向傳播算法，并以均方誤差最小化為目標(biāo)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，最終能高精度地?cái)M合數(shù)據(jù)[5]。BP神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的學(xué)習(xí)和適應(yīng)能力，適合針對(duì)中藥水提液復(fù)雜系統(tǒng)建模，在處理具有非線性特點(diǎn)的中藥水提液陶瓷膜膜污染預(yù)測(cè)問(wèn)題方面，比一般的線性、非線性模型更有優(yōu)勢(shì)。
1 BP神經(jīng)網(wǎng)絡(luò)
1.1 拓?fù)浣Y(jié)構(gòu)
BP神經(jīng)網(wǎng)絡(luò)是按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，通過(guò)訓(xùn)練樣本來(lái)學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，無(wú)需事先揭示及描述映射關(guān)系的數(shù)學(xué)方程。學(xué)習(xí)規(guī)則采用最速下降法，通過(guò)誤差反向傳播不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的整體誤差最小[6-8]。
BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)包括輸入層、隱含層和輸出層，其中可包含1個(gè)或多個(gè)隱含層。各層次的神經(jīng)元之間形成全互連接，同層神經(jīng)元之間無(wú)反饋連接，見(jiàn)圖1。
1.2 基本原理及其缺陷
BP神網(wǎng)絡(luò)由信號(hào)的正向傳播和誤差的逆向傳播2部分組成[9]。設(shè)輸入層神經(jīng)元為P=[p1，p2，…pi]，隱含層神經(jīng)元為S=[s1，s2，…sk]，輸出層神經(jīng)元為A=[a1，a2，…，aj]， 表示輸入層第i個(gè)神經(jīng)元與隱含層第k個(gè)神經(jīng)元之間的連接權(quán)值， 表示隱含層第k個(gè)神經(jīng)元與輸出層第j個(gè)神經(jīng)元之間的連接權(quán)值；隱含層的激勵(lì)函數(shù)為f1，輸出層的激勵(lì)函數(shù)為f2， 表示隱含層中各神經(jīng)元的閾值， 表示輸出層中各神經(jīng)元的閾值。
1.2.1 信息的正向傳遞 輸入層各神經(jīng)元與隱含層各神經(jīng)元之間以相應(yīng)的權(quán)重連接，隱含層的第1個(gè)神經(jīng)元 ，從輸入層的每個(gè)神經(jīng)元處得到輸出值，加權(quán)求和 ，加上閾值 ，通過(guò)激勵(lì)函數(shù)f1，得到該神經(jīng)元的輸出值為 。
輸出層第1個(gè)神經(jīng)元a1接收隱含層每個(gè)神經(jīng)元輸出值，并加權(quán)求和得 ，加上閾值 ，通過(guò)激勵(lì)函數(shù)f2，得到輸出層該神經(jīng)元的輸出值為 。
1.2.2 誤差的反向傳播 N個(gè)數(shù)據(jù)樣本進(jìn)入輸入層正向傳播，經(jīng)過(guò)隱含層各神經(jīng)元處理，傳向輸出層，得到實(shí)際輸出值A(chǔ)，將實(shí)際輸出值A(chǔ)與期望輸出值T進(jìn)行誤差分析，比較并計(jì)算實(shí)際輸出與期望輸出的均方誤差 。
如果MSE未達(dá)到精度要求ε，則進(jìn)入反向傳播過(guò)程，把均方誤差信號(hào)MSE以梯度形式，按原來(lái)正向傳遞的通路逐層進(jìn)行反向傳播，并將誤差信號(hào)MSE分?jǐn)偨o各層的所有神經(jīng)元，從而獲得各層神經(jīng)元的誤差信號(hào)MSEj（j=1，2，3），將此誤差信號(hào)MSEj作為修正各連接權(quán)值和閾值的依據(jù)，并對(duì)其修改。
重復(fù)進(jìn)行網(wǎng)絡(luò)信息的正向傳遞和網(wǎng)絡(luò)誤差的反向傳播過(guò)程，直至均方誤差MSE達(dá)到精度要求或者訓(xùn)練達(dá)到最大迭代次數(shù)。
BP神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中存在一些缺陷[10]，其中在中藥分析領(lǐng)域有2個(gè)較明顯的缺陷：第一，BP神經(jīng)網(wǎng)絡(luò)的建模過(guò)程必須構(gòu)造一定的隱含層結(jié)構(gòu)，但尚無(wú)合適的方法確定隱含層的神經(jīng)元數(shù)，而隱含層神經(jīng)元數(shù)過(guò)少或過(guò)多都會(huì)造成模型預(yù)測(cè)結(jié)果不準(zhǔn)確；第二，BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值是隨機(jī)產(chǎn)生的，權(quán)值和閾值的取值情況又決定著數(shù)據(jù)擬合的效果，因此該模型具有不穩(wěn)定性。
2 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)模型
2.1 隱含層神經(jīng)元數(shù)
利用區(qū)間估算方法快速確定BP神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)。具有單隱層的BP神經(jīng)網(wǎng)絡(luò)模型能夠映射所有連續(xù)函數(shù)，在不約束隱含層神經(jīng)元數(shù)的情況下，單隱層的BP神經(jīng)網(wǎng)絡(luò)模型能夠?qū)崿F(xiàn)任意的非線性映射[11]。因此，本研究選用單隱層模型。
隱含層神經(jīng)元數(shù)的確定是BP神經(jīng)網(wǎng)絡(luò)模型中非常關(guān)鍵和復(fù)雜的問(wèn)題，目前尚無(wú)標(biāo)準(zhǔn)方法來(lái)確定最佳隱含層神經(jīng)元數(shù)。如果隱含層神經(jīng)元數(shù)過(guò)少，會(huì)使得BP神經(jīng)網(wǎng)絡(luò)性能不佳，不能產(chǎn)生足夠的連接權(quán)組合來(lái)滿足網(wǎng)絡(luò)對(duì)樣本的學(xué)習(xí)需求；如果隱含層神經(jīng)元數(shù)過(guò)多，極易陷入局部最小值，達(dá)不到最優(yōu)點(diǎn)，出現(xiàn)過(guò)擬合現(xiàn)象[12]。許多學(xué)者通過(guò)試湊法[13-15]歸納出了確定隱含層神經(jīng)元數(shù)目的一些經(jīng)驗(yàn)性公式，如 、 、 ，其中k為隱含層神經(jīng)元數(shù)目，n為輸入層神經(jīng)元數(shù)目，m為輸出層神經(jīng)元數(shù)目，a為常數(shù)（一般a∈[1，10]）。
實(shí)踐表明，最佳隱含層神經(jīng)元數(shù)常介于 和 之間，因此本研究采用區(qū)間估算來(lái)快速確定BP神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)的方法。具體步驟：①構(gòu)建一個(gè)單隱層的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)輸入層神經(jīng)元數(shù)目為n，輸出層神經(jīng)元數(shù)目為m，初始隱含層神經(jīng)元數(shù)目 ；②初始化BP神經(jīng)網(wǎng)絡(luò)，通過(guò)權(quán)值直接確定法[16]設(shè)置網(wǎng)絡(luò)各層的連接權(quán)值、閾值，并設(shè)置精度要求ε；③網(wǎng)絡(luò)訓(xùn)練，計(jì)算均方誤差MSE；④若 ，隱含層增加1個(gè)神經(jīng)元數(shù)目，返回步驟③，否則停止運(yùn)算；⑤比較不同隱含層神經(jīng)元數(shù)下的網(wǎng)絡(luò)均方誤差，選擇最小均方誤差所對(duì)應(yīng)的隱含層神經(jīng)元數(shù)作為最佳隱含層神經(jīng)元數(shù)。
2.2 初始權(quán)值和閾值
針對(duì)BP神經(jīng)網(wǎng)絡(luò)存在的“網(wǎng)絡(luò)初始權(quán)值和閾值隨機(jī)性”問(wèn)題，本研究采用遺傳算法來(lái)優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值。遺傳算法[17-18]是模擬達(dá)爾文的遺傳選擇和自然淘汰的生物進(jìn)化過(guò)程的計(jì)算模型，是一種通過(guò)模擬自然進(jìn)化過(guò)程搜索最優(yōu)解的方法。遺傳算法從1組隨機(jī)產(chǎn)生的初始解（稱為群體）開(kāi)始搜索過(guò)程。群體中的每個(gè)個(gè)體都是問(wèn)題的1個(gè)解，稱為染色體；染色體在后續(xù)迭代中不斷進(jìn)化，生成下一代染色體。染色體的優(yōu)劣通過(guò)適應(yīng)度函數(shù)衡量。根據(jù)適應(yīng)度的大小從上一代和后代中選擇一定數(shù)量的個(gè)體作為下一代群體繼續(xù)進(jìn)化，直至發(fā)現(xiàn)最好的染色體，即問(wèn)題的最優(yōu)解。
遺傳算法的目標(biāo)是尋找所有進(jìn)化代中能夠使網(wǎng)絡(luò)均方誤差最小的網(wǎng)絡(luò)權(quán)重，但由于遺傳算法只能朝著使適應(yīng)度函數(shù)值增大的方向進(jìn)行，所以本研究采用均方誤差的倒數(shù)作為適應(yīng)度函數(shù)。當(dāng)該適應(yīng)度函數(shù)取得最大值時(shí)，BP神經(jīng)網(wǎng)絡(luò)獲得最佳權(quán)值和閾值。計(jì)算公式： 。式中 表示第i條染色體的適應(yīng)度值；MSEi表示根據(jù)第i條染色體確定的BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值時(shí)預(yù)測(cè)值A(chǔ)與期望值T的均方誤差。
利用遺傳算法進(jìn)行BP神經(jīng)網(wǎng)絡(luò)模型權(quán)值和閾值快速尋優(yōu)的具體步驟：①通過(guò)編碼方式生成初始種群；②設(shè)置適應(yīng)度函數(shù)；③計(jì)算群體中所有個(gè)體的適應(yīng)值；④選擇適應(yīng)度高的個(gè)體執(zhí)行遺傳操作；⑤若達(dá)到終止條件，則返回最佳個(gè)體，即BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值；若未達(dá)到終止條件，則以指定的最大遺傳步數(shù)為終止計(jì)算準(zhǔn)則?；谶z傳算法的BP神經(jīng)網(wǎng)絡(luò)流程圖見(jiàn)圖2。
3 中藥水提液陶瓷膜膜污染預(yù)測(cè)實(shí)驗(yàn)
3.1 實(shí)驗(yàn)數(shù)據(jù)
3.1.1 參數(shù)體系 根據(jù)膜科學(xué)原理和經(jīng)驗(yàn)規(guī)律，中藥水提液中的共性高分子、物理化學(xué)性質(zhì)和阻力分布等情況會(huì)對(duì)膜過(guò)程產(chǎn)生影響，是引起膜污染的重要因素?？紤]到實(shí)際測(cè)量的可行性，選擇測(cè)定5種高分子物質(zhì)（固含含量、果膠含量、淀粉含量、蛋白含量和鞣質(zhì)含量）、6種物化性質(zhì)（pH值、電導(dǎo)率、鹽度、濁度、黏度、密度）及3種阻力分布特征量（膜自身阻力、濃差極化阻力和表面沉積阻力），建立中藥水提液膜過(guò)程參數(shù)體系。
3.1.2 數(shù)據(jù)樣本 根據(jù)中藥水提液膜過(guò)程參數(shù)體系，通過(guò)實(shí)驗(yàn)測(cè)定了207組中藥水提液數(shù)據(jù)，其中145組數(shù)據(jù)（70%）作為訓(xùn)練集，62組數(shù)據(jù)（30%）作為測(cè)試集。
本實(shí)驗(yàn)?zāi)康臑橥ㄟ^(guò)對(duì)中藥水提液的共性高分子含量、物化性質(zhì)和阻力分布特征量的分析來(lái)預(yù)測(cè)膜污染度，因此輸入向量為固含含量等14個(gè)屬性值，輸出向量為膜污染度，見(jiàn)表1。
3.1.3 數(shù)據(jù)歸一化 由于輸入向量的數(shù)量級(jí)相差較大，直接將原始數(shù)據(jù)輸入BP神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)訓(xùn)練將使網(wǎng)絡(luò)性能和收斂性較差，因此需要對(duì)輸入向量進(jìn)行歸一化處理，把數(shù)據(jù)限定在區(qū)間[0，1]。而輸出向量的數(shù)值符合該區(qū)間，故無(wú)需進(jìn)行歸一化處理。數(shù)據(jù)歸一化處理公式：X=（X0-Xmin）/（Xmax-Xmin）。其中X為歸一化后的數(shù)值，X0為歸一化前的原始數(shù)據(jù)，Xmax和Xmin分別為該屬性原始數(shù)據(jù)的最大值和最小值。
3.2 預(yù)測(cè)模型
3.2.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 根據(jù)BP神經(jīng)網(wǎng)絡(luò)原理，構(gòu)建單隱層的網(wǎng)絡(luò)模型。由于輸入向量有14個(gè)屬性元素，輸出向量是1個(gè)屬性元素，故設(shè)置網(wǎng)絡(luò)輸入層的神經(jīng)元數(shù)為14，網(wǎng)絡(luò)輸出層的神經(jīng)元數(shù)為1。采用“2.1”項(xiàng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)的快速確定方法，估算出隱含層神經(jīng)元數(shù)目區(qū)間為3～13。為了確定最佳隱含層神經(jīng)元數(shù)目，設(shè)計(jì)對(duì)比實(shí)驗(yàn)比較不同神經(jīng)元數(shù)目的網(wǎng)絡(luò)誤差，實(shí)驗(yàn)偽代碼見(jiàn)圖3，其中P、T、S、O分別為訓(xùn)練輸入值、訓(xùn)練目標(biāo)值、預(yù)測(cè)輸入值和預(yù)測(cè)目標(biāo)值。實(shí)驗(yàn)結(jié)果見(jiàn)表2。
表2表明，在其他條件相同的情況下，模型的隱含層神經(jīng)元數(shù)目設(shè)置為9時(shí)，網(wǎng)絡(luò)均方誤差最小，模型的預(yù)測(cè)效果最佳，即最佳網(wǎng)絡(luò)結(jié)構(gòu)為14∶9∶1。
根據(jù)遺傳算法原理設(shè)計(jì)優(yōu)化模型。遺傳算法的編碼采用實(shí)數(shù)編碼，編碼串由4個(gè)部分組成：輸入層與隱含層的連接權(quán)值、隱含層與輸出層的連接權(quán)值、隱含層閾值和輸出層閾值。設(shè)定種群初始規(guī)模為50，最大遺傳代數(shù)為100，交叉操作采用單點(diǎn)交叉，變異操作采用均勻變異，交叉因子為0.6，變異因子為0.3。
3.2.2 預(yù)測(cè)結(jié)果分析 根據(jù)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練特點(diǎn)，設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練參數(shù)：BP神經(jīng)網(wǎng)絡(luò)的隱含層神經(jīng)元激勵(lì)函數(shù)采用S型正切函數(shù)，輸出層神經(jīng)元激勵(lì)函數(shù)采用S型對(duì)數(shù)函數(shù)。應(yīng)用模型進(jìn)行網(wǎng)絡(luò)訓(xùn)練和測(cè)試，具體預(yù)測(cè)結(jié)果見(jiàn)表3。
實(shí)驗(yàn)均方誤差僅為0.005 7，表明基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的中藥水提液陶瓷膜膜污染預(yù)測(cè)模型能夠有效地對(duì)膜污染度進(jìn)行預(yù)測(cè)。也證明中藥水提液中的共性高分子、物理化學(xué)性質(zhì)和阻力分布特征確實(shí)是影響膜污染的重要因素。
為分析模型的精度，將本研究實(shí)驗(yàn)結(jié)果與近年來(lái)中藥水提液膜污染數(shù)據(jù)建模相關(guān)文獻(xiàn)[19-21]進(jìn)行對(duì)比，見(jiàn)表4。結(jié)果表明，與多元回歸分析、基本BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)比較，改進(jìn)BP神經(jīng)網(wǎng)絡(luò)具有更好的泛化能力，擬合效果和預(yù)測(cè)精度均有較大提高。
3.2.3 模型性能評(píng)價(jià) 由于BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值是隨機(jī)產(chǎn)生的，網(wǎng)絡(luò)模型性能與其相關(guān)，也是隨機(jī)變化的，因此為了對(duì)模型進(jìn)行評(píng)價(jià)，令基本BP神經(jīng)網(wǎng)絡(luò)模型和改進(jìn)模型均隨機(jī)運(yùn)行20次，分別考察達(dá)到預(yù)設(shè)目標(biāo)的情況。設(shè)定平均相對(duì)誤差為10%，即均方誤差MSE為0.01，進(jìn)行對(duì)比分析，見(jiàn)表5。
表5表明，改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)穩(wěn)定性更佳，說(shuō)明改進(jìn)算法實(shí)現(xiàn)了結(jié)構(gòu)、權(quán)值和閾值的同步優(yōu)化，避免了BP神經(jīng)網(wǎng)絡(luò)初始化的隨機(jī)性和盲目性，提高了計(jì)算精度和效率。
4 小結(jié)
本研究表明，基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的中藥水提液陶瓷膜膜污染預(yù)測(cè)模型能夠適應(yīng)中藥水提液陶瓷膜純化過(guò)程中采集到的多維、非線性數(shù)據(jù)，能夠穩(wěn)定準(zhǔn)確地預(yù)測(cè)膜污染度，為中藥水提液陶瓷膜膜污染的預(yù)測(cè)和防治提供了有效方法。
參考文獻(xiàn)：
[1] SISKENS C A M. Fundamental of inorganic membrane science and technology[M]. Holland：Elsevier Science B V，1996：619-639.
[2] 劉忠洲，續(xù)曙光，李鎖定.微濾超濾過(guò)程中的膜污染與清洗[J].水處理技術(shù)，1997（4）：3-9.
[3] 樊文玲，郭立瑋，林瑛.不同預(yù)處理方法對(duì)陶瓷膜澄清中藥水提液過(guò)程的影響研究[J].中成藥，2008，30（11）：1709-1710.
[4] 賀立中.藥液超濾過(guò)程中的膜污染及其防治[J].膜科學(xué)與技術(shù)，2000， 20（5）：49-54.
[5] 劉春艷，凌建春，寇林元，等.GA-BP神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)性能比較[J].中國(guó)衛(wèi)生統(tǒng)計(jì)，2013，30（2）：173-176.
[6] HOLLAND J H. Adaptation in natural and artificial systems：an introductory analysis with applications to biology，control， and artificial intelligence[M]. Cambridge：MIT Press，1992：89.
[7] 王元章，譴夯，周笛青，等.基于BP神經(jīng)網(wǎng)絡(luò)的光伏陣列故障診斷研究[J].電力系統(tǒng)保護(hù)與控制，2013（16）：108-114.
[8] 張國(guó)翊，胡錚.改進(jìn)BP神經(jīng)網(wǎng)絡(luò)模型及其穩(wěn)定性分析[J].中南大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，42（1）：115-124.
[9] 郝曉弘，段曉燕，李恒杰.基于BP神經(jīng)網(wǎng)絡(luò)的迭代學(xué)習(xí)初始控制策略研究[J].計(jì)算機(jī)應(yīng)用，2009，29（4）：1025-1027，1031.
[10] 夏玫，陳立潮，王新波.一種提高BP神經(jīng)網(wǎng)絡(luò)泛化能力的改進(jìn)算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2009，19（9）：62-64，68.
[11] CHEN T， CHEN H， LIU R W. Approximation capability in C（Rn） by multilayer feedforward networks and related problems[J].IEEE Transactions on Neural Network，1995，6（1）：25-30
[12] 范佳妮，王振雷，錢鋒.BP人工神經(jīng)網(wǎng)絡(luò)隱層結(jié)構(gòu)設(shè)計(jì)的研究進(jìn)展[J].控制工程，2005，12（S1）：109-113.
[13] 沈花玉，王兆霞，高成耀，等.BP神經(jīng)網(wǎng)絡(luò)隱含層單元數(shù)的確定[J].天津理工大學(xué)學(xué)報(bào)，2008，24（5）：13-15.
[14] 褚輝，賴惠成.一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法及其應(yīng)用[J].計(jì)算機(jī)仿真，2007，24（4）：75-77.
[15] 張慶慶，賀興時(shí).BP神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)數(shù)選取的改進(jìn)方法及其應(yīng)用[J].西安工程大學(xué)學(xué)報(bào)，2008，22（4）：502-505.
[16] 張雨濃，李巍，蔡炳煌，等.切比雪夫正交基神經(jīng)網(wǎng)絡(luò)的權(quán)值直接確定法[J].計(jì)算機(jī)仿真，2009，26（1）：157-161.
[17] 范青武，王普，高學(xué)金.一種基于有向交叉的遺傳算法[J].控制與決策，2009，24（4）：542-546.
[18] 莊健，楊清宇，杜海峰，等.一種高效的復(fù)雜系統(tǒng)遺傳算法[J].軟件學(xué)報(bào)，2010，21（11）：2790-2801.
[19] 洪弘.數(shù)據(jù)挖掘技術(shù)在中藥水提液膜分離中的應(yīng)用研究[D].南京：南京中醫(yī)藥大學(xué)，2012.