神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

關(guān)鍵詞 BP神經(jīng)網(wǎng)絡(luò) 房地產(chǎn)市場(chǎng) 預(yù)警研究

中圖分類號(hào)：F293 文獻(xiàn)標(biāo)識(shí)碼：A

一、房地產(chǎn)市場(chǎng)預(yù)警評(píng)價(jià)指標(biāo)的構(gòu)建

本著全面性、重要性、可測(cè)性、獨(dú)立性的房地產(chǎn)預(yù)警指標(biāo)選取原則，筆者選取了房地產(chǎn)行業(yè)的發(fā)展協(xié)調(diào)度、和諧穩(wěn)定度、和未知風(fēng)險(xiǎn)度三個(gè)一級(jí)指標(biāo)以及12個(gè)二級(jí)指標(biāo)作為警兆指標(biāo)，如表1所示：

二、BP神經(jīng)網(wǎng)絡(luò)預(yù)警模型的構(gòu)建

（一）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建。

BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)一般包括輸入層（InPutLaver），隱含層（HideLaver）和輸出層（outPutLayer）三個(gè)方面。

由于任意一個(gè)連續(xù)函數(shù)都可以準(zhǔn)確地用一個(gè)三層向前神經(jīng)網(wǎng)絡(luò)來(lái)模擬。故本文采用只含有一個(gè)隱含層的三層神經(jīng)網(wǎng)絡(luò)作為預(yù)警系統(tǒng)。

其中房地產(chǎn)市場(chǎng)警兆指標(biāo)為輸入層，本文輸入層節(jié)點(diǎn)數(shù)X=12。相對(duì)應(yīng)的警情為輸出層，本文警情采用三維向量的模式，故輸出層節(jié)點(diǎn)數(shù)Y=3。隱含層神經(jīng)元數(shù)目N的確定，本文采用公式N=+C，其中，C 為 1 ～10 的常數(shù)。通過(guò)訓(xùn)練，發(fā)現(xiàn)當(dāng)N=8時(shí)，神經(jīng)網(wǎng)絡(luò)的收斂效果最好。

（二）神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法。

1、信號(hào)向前傳輸。

首先，計(jì)算隱含層各單元的凈輸入Ij：

其中wij是輸入層第i單元與隱含層第j單元間的權(quán)重； j是隱含層第j單元的偏置值，p為隱含層單元總數(shù)。

第二，計(jì)算隱含層各單元的輸出yj：

第三，計(jì)算輸出層的實(shí)際輸出，計(jì)算方法與隱含層相同。

2、誤差反向傳輸。

通常用網(wǎng)絡(luò)實(shí)際輸出與目標(biāo)輸出之間的方差ei來(lái)度量誤差。

其中di表示目標(biāo)輸出，yi表示實(shí)際輸出。

（三）預(yù)警時(shí)差和警情的設(shè)定。

由于目前我國(guó)房地產(chǎn)發(fā)展不成熟以及相關(guān)警兆指標(biāo)的局限性。本文將預(yù)警時(shí)差設(shè)定為2年，通過(guò)對(duì)上一年的警兆數(shù)據(jù)的分析來(lái)預(yù)測(cè)下一年的警情，即通過(guò)2011年的數(shù)據(jù)來(lái)預(yù)測(cè)2013年的警情。并將警情劃分為 “冷”、“正?！薄ⅰ盁帷比?jí)，分別用三維向量（1，0，0）、（0，1，0）、（0，0，1）表示。

（四）神經(jīng)網(wǎng)絡(luò)的預(yù)警過(guò)程。

將經(jīng)過(guò)歸一化處理后的房地產(chǎn)市場(chǎng)警兆指標(biāo)數(shù)據(jù)作為網(wǎng)絡(luò)系統(tǒng)的輸入，經(jīng)過(guò)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)處理，輸出房地產(chǎn)市場(chǎng)的警情，實(shí)現(xiàn)評(píng)價(jià)指標(biāo)與警情的非線性映射。

三、基于沈陽(yáng)市房地產(chǎn)市場(chǎng)的實(shí)證研究

本文選取了沈陽(yáng)市2004年到2011年的預(yù)警指標(biāo)數(shù)據(jù)，其中2004年到2009年作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本，2010年作為檢驗(yàn)樣本，2011年作為預(yù)測(cè)2013年警情的基礎(chǔ)數(shù)據(jù)。其中根據(jù)相關(guān)專家的分析，給出2006年到2009年沈陽(yáng)市房地產(chǎn)市場(chǎng)地警情。

（一）神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

為了使神經(jīng)網(wǎng)絡(luò)獲得較好的訓(xùn)練效果，本文運(yùn)用MATLAB軟件對(duì)其進(jìn)行訓(xùn)練。其中中間層的激勵(lì)函數(shù)為正切s型激勵(lì)函數(shù)，輸出層的激勵(lì)函數(shù)為對(duì)數(shù)s型激勵(lì)函數(shù)。學(xué)習(xí)訓(xùn)練率為0.06。經(jīng)過(guò)342次迭代，網(wǎng)絡(luò)訓(xùn)練誤差情況如圖迭代次數(shù)所示。

（二）神經(jīng)網(wǎng)絡(luò)的檢驗(yàn)。

為了使訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)能夠更精確的預(yù)測(cè)警情，本文將2010年的相應(yīng)指標(biāo)數(shù)據(jù)輸入到已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)中，對(duì)網(wǎng)絡(luò)進(jìn)行檢驗(yàn)。檢驗(yàn)結(jié)果如下表所示。

由表結(jié)果可知，神經(jīng)網(wǎng)絡(luò)輸出結(jié)果與目標(biāo)輸出結(jié)果吻合度較好，故可以作為預(yù)測(cè)警情的模型。

（三）神經(jīng)網(wǎng)絡(luò)的市場(chǎng)預(yù)警。

將2011年的相關(guān)指標(biāo)數(shù)據(jù)輸入到BP網(wǎng)絡(luò)中去，得到結(jié)果表所示：

由網(wǎng)絡(luò)輸出可得出目標(biāo)輸出為（0，1，0）。即2013年沈陽(yáng)市房地產(chǎn)市場(chǎng)處于正常狀態(tài)。

四、結(jié)語(yǔ)

第2篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

[關(guān)鍵詞] 小生境遺傳算法 神經(jīng)網(wǎng)絡(luò) 股票 預(yù)測(cè)

一、引言

股票和股票市場(chǎng)對(duì)國(guó)家企業(yè)的經(jīng)濟(jì)發(fā)展起到了積極的作用，如可以為投資者開拓投資渠道，增強(qiáng)投資的流動(dòng)性和靈活性等。但股票價(jià)格的形成機(jī)制是頗為復(fù)雜的，股票價(jià)格既受到多種因素，諸如:政治，經(jīng)濟(jì)，市場(chǎng)因素的影響，亦受技術(shù)和投資者行為因素的影響，個(gè)別因素的波動(dòng)作用都可能會(huì)影響到股票價(jià)格的劇烈波動(dòng)。因此，股票價(jià)格和各影響因素之間很難直接建立明確的函數(shù)關(guān)系表達(dá)式。針對(duì)這一情況，將可有效處理非線性問題的神經(jīng)網(wǎng)絡(luò)引入到股票價(jià)格的預(yù)測(cè)中來(lái)，但神經(jīng)網(wǎng)絡(luò)收斂慢,易陷入局部極小點(diǎn)，出現(xiàn)振蕩，魯棒性差。所以有的學(xué)者用遺傳算法(ga)來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)可能獲得個(gè)別的甚至局部的最優(yōu)解,即ga早熟現(xiàn)象。本文引進(jìn)能較有效地保持種群多樣性的小生境遺傳算法(nga),采用nga優(yōu)化與用ga優(yōu)化的bp網(wǎng)絡(luò)權(quán)值進(jìn)行對(duì)比,證實(shí)了nga的判別準(zhǔn)確性和尋優(yōu)能力。

二、小生境遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)

1.bp神經(jīng)網(wǎng)絡(luò)

反向傳播(bp)算法又稱為誤差逆?zhèn)鞑バＵ椒?，它?974年p.werbos(哈佛大學(xué))提出的。133229.CoMbp算法用來(lái)訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò),屬于監(jiān)督學(xué)習(xí)算法。bp網(wǎng)絡(luò)具有結(jié)構(gòu)清晰，易實(shí)現(xiàn)，計(jì)算功能強(qiáng)大等特點(diǎn)。因而是目前最常見，使用最廣泛的一種神經(jīng)網(wǎng)絡(luò)。但是在實(shí)際應(yīng)用中，傳統(tǒng)的bp算法存在以下問題:收斂速度慢;若加快收斂速度易產(chǎn)生振蕩；存在局部極小和平臺(tái)問題;泛化能力差;隱節(jié)點(diǎn)數(shù)和初始值的選取缺乏理論指導(dǎo);未考慮樣本選擇對(duì)系統(tǒng)學(xué)習(xí)的影響等。所以很多學(xué)者提出許多改進(jìn)的方法，用小生境遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值的神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)股票價(jià)格。

2.小生境遺傳算法

小生境遺傳算法(iche genetical gorihm)的基本思想是:首先比較任意兩個(gè)個(gè)體間的距離與給定值的大小，若該距離小于給定值，則比較其適應(yīng)值大小。對(duì)適應(yīng)值較小的個(gè)體施加一個(gè)較強(qiáng)的懲罰，極大地降低其適應(yīng)值。也就是說(shuō)，在距離l內(nèi)將只有一個(gè)優(yōu)良個(gè)體，從而既維護(hù)了群體的多樣性，又使得各個(gè)體之間保持一定的距離，并使得個(gè)體能夠在整個(gè)約束空間中分散開來(lái)。

3.神經(jīng)網(wǎng)絡(luò)連接權(quán)的優(yōu)化

用小生境遺傳算法可以優(yōu)化神經(jīng)網(wǎng)絡(luò)連接權(quán)，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)規(guī)則等，這里我們對(duì)神經(jīng)網(wǎng)絡(luò)的連接權(quán)進(jìn)行優(yōu)化，具體步驟如下：

（1）隨機(jī)產(chǎn)生一組權(quán)值分布，采用某種編碼方案對(duì)該組中的每個(gè)權(quán)值(或閾值)進(jìn)行編碼，進(jìn)而構(gòu)造出一個(gè)碼串(每個(gè)碼串代表網(wǎng)絡(luò)的一種權(quán)值分布)，在網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則已確定的前提下,該碼串就對(duì)應(yīng)一個(gè)權(quán)值和閾值取特定值的一個(gè)神經(jīng)網(wǎng)絡(luò)。

（2)對(duì)所產(chǎn)生的神經(jīng)網(wǎng)絡(luò)計(jì)算它的誤差函數(shù)，從而確定其適應(yīng)度函數(shù)值，誤差越大,則適應(yīng)度越小。

（3)選擇若干適應(yīng)度函數(shù)值最大的個(gè)體,直接遺傳給下一代。

（4)利用交叉和變異等遺傳操作算子對(duì)當(dāng)前一代群體進(jìn)行處理，產(chǎn)生下一代群體。

（5)重復(fù)（2）（3）（4），使初始確定的一組權(quán)值分布得到不斷地進(jìn)化,直到訓(xùn)練目標(biāo)得到滿足為止。

這種由小生境遺傳算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法也可以稱做混和訓(xùn)練法。將基于小生境遺傳算法的遺傳進(jìn)化方法和基于梯度下降的反傳訓(xùn)練相結(jié)合,這種訓(xùn)練方法吸取兩種方法的各自特點(diǎn)，所以收斂速度快。

三、股票價(jià)格預(yù)測(cè)仿真

根據(jù)經(jīng)驗(yàn)選取輸入預(yù)測(cè)日前四天開盤價(jià)、收盤價(jià)歸一化后做為作為輸入量，輸出為第五天收盤價(jià)歸一化數(shù)值。所以，本文采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為(8,5,1),即網(wǎng)絡(luò)的輸入層6個(gè)節(jié)點(diǎn),隱含層9個(gè)節(jié)點(diǎn),輸出層1個(gè)節(jié)點(diǎn)。本文選擇了“xdg 新梅（600732）”從2006年3月14日到2006年7月1日數(shù)據(jù)進(jìn)行了仿真。利用matlab6.5編程，取70組訓(xùn)練樣本和30組測(cè)試樣本。如圖（1）表示用遺傳算法和小生境遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行優(yōu)化時(shí)，誤差曲線變化;從圖中可以看出，小生境遺傳算法收斂速度要快;圖（2）表示股票預(yù)測(cè)值和實(shí)際值比較，從圖中可以看出，遺傳算法和小生境遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值的模型進(jìn)行股票價(jià)格的預(yù)測(cè)，都能預(yù)測(cè)出股票走向趨勢(shì)，但是，后者的預(yù)測(cè)精度顯然要比前者高。

四、結(jié)束語(yǔ)

股票市場(chǎng)的不確定因素太多，股票的價(jià)格更是多種因素影響的集合體，是典型的非線性動(dòng)力學(xué)問題。股票價(jià)格的中長(zhǎng)期準(zhǔn)確預(yù)測(cè)很難。本文建立了用小生境遺傳算來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)模型來(lái)預(yù)測(cè)股票價(jià)格，結(jié)果表明，這種方法比單用遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)收斂速度快，預(yù)測(cè)精度高。對(duì)于股票價(jià)格預(yù)測(cè)具有較好的應(yīng)用價(jià)值。

參考文獻(xiàn):

[1]龍建成李小平:基于神經(jīng)網(wǎng)絡(luò)的股票市場(chǎng)趨勢(shì)預(yù)測(cè)[j].西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版.2005.3（32）:460-463

[2]王波張鳳玲:神經(jīng)網(wǎng)絡(luò)與時(shí)間序列模型在股票預(yù)測(cè)中的比較[j].第27卷第6期武漢理工大學(xué)學(xué)報(bào)·信息與管理工程版.2005.9（27）:69-72

第3篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；過(guò)程控制；模糊控制

我國(guó)礦石“貧、細(xì)、雜”，礦石成分復(fù)雜，性質(zhì)波動(dòng)嚴(yán)重，因而造成了我國(guó)浮選過(guò)程控制水平不高，浮選藥劑消耗量大，產(chǎn)品質(zhì)量波動(dòng)大，精礦回收率低，經(jīng)濟(jì)效益差的現(xiàn)狀，嚴(yán)重影響了我國(guó)鋼鐵工業(yè)的國(guó)際競(jìng)爭(zhēng)力。因此急需能夠滿足我國(guó)浮選工藝現(xiàn)狀的檢測(cè)設(shè)備及先進(jìn)控制算法，以提高我國(guó)浮選過(guò)程控制水平，以穩(wěn)定產(chǎn)品質(zhì)量，為后序煉鐵工序提供更好的原料。

對(duì)于浮選工藝過(guò)程控制，藥劑控制是根本性的。以反浮選為例，如果給藥量過(guò)少，無(wú)用礦物成分就不能充分浮選，則會(huì)導(dǎo)致精礦品位降低，不能滿足產(chǎn)品質(zhì)量要；如果藥劑量過(guò)多，不但藥劑費(fèi)用大，而且會(huì)導(dǎo)致返回的中礦量增加和尾礦品位增高，回收率降低，經(jīng)濟(jì)效益不理想。

本文根據(jù)影響浮選藥劑用量的因素確定了RBF神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)。針對(duì)RBF神經(jīng)網(wǎng)絡(luò)參數(shù)難以確定的缺點(diǎn)，提出一種基于蟻群算法RBF神經(jīng)網(wǎng)絡(luò)優(yōu)化方法。并通過(guò)仿真結(jié)果證明了該算法的有效性。

1 藥劑量控制模型結(jié)構(gòu)確定

目前傳統(tǒng)的藥劑添加方法是以給礦流量為參考，在應(yīng)用比例控制的方法的基礎(chǔ)上根據(jù)操作工經(jīng)驗(yàn)來(lái)控制藥劑流量。但由于浮選過(guò)程的嚴(yán)重非線性、干擾因素眾多且系統(tǒng)存在大滯后。這種簡(jiǎn)單的控制方法難以保證浮選最終精礦品位的穩(wěn)定，同時(shí)影響了精礦回收率。即使在浮選槽出口安裝上價(jià)值昂貴的在線精礦品位檢測(cè)儀表，由于浮選過(guò)程的大滯后特性，常規(guī)的閉環(huán)控制方法也難以達(dá)到目的。所以本章主要通過(guò)應(yīng)用浮選生產(chǎn)過(guò)程中積累的大量生產(chǎn)數(shù)據(jù)，根據(jù)相應(yīng)的浮選工藝參數(shù)，使用RBF神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)浮選過(guò)程進(jìn)行建模。然后根據(jù)初始生產(chǎn)條件，應(yīng)用建立好的數(shù)學(xué)模型預(yù)測(cè)所需的藥劑用量，從而克服系統(tǒng)的大滯后、非線性特性，穩(wěn)定浮選生產(chǎn)過(guò)程。

通過(guò)現(xiàn)場(chǎng)調(diào)研，我們知道原礦性質(zhì)和藥劑用量與浮選槽出口精礦品位有直接關(guān)系。最后我們依據(jù)工藝機(jī)理和現(xiàn)場(chǎng)操作工經(jīng)驗(yàn)知識(shí)，最終確定給礦品位、給礦流量、給礦粒度、給礦濃度、精礦品位5個(gè)變量對(duì)藥劑流量影響最大。

因此本文將給礦品位、給礦流量、給礦粒度、給礦濃度和精礦品位5個(gè)變量作為浮選藥劑量控制模型的輸入變量，將浮選藥劑流量作為模型輸出變量，從而建立一個(gè)5輸入、1輸出的RBF神經(jīng)網(wǎng)絡(luò)模型，模型結(jié)構(gòu)如圖1所示。

圖1 浮選藥劑量控制模型結(jié)構(gòu)圖

2 基于蟻群算法的網(wǎng)絡(luò)泛化能力優(yōu)化

我們應(yīng)用處理后的樣本數(shù)據(jù)對(duì)網(wǎng)絡(luò)性能進(jìn)行了測(cè)試（這里我們使用了700組樣本數(shù)據(jù)作為網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)，50組數(shù)據(jù)作為網(wǎng)絡(luò)性能測(cè)試數(shù)據(jù)，網(wǎng)絡(luò)訓(xùn)練停止條件是網(wǎng)絡(luò)訓(xùn)練誤差小于網(wǎng)絡(luò)訓(xùn)練停止誤差或者超過(guò)最大訓(xùn)練次數(shù)。我們把網(wǎng)絡(luò)最大訓(xùn)練次數(shù)規(guī)定為5000次），測(cè)試中發(fā)現(xiàn)了兩個(gè)問題。一是值得大小對(duì)網(wǎng)絡(luò)測(cè)試誤差的影響很大；二是網(wǎng)絡(luò)的訓(xùn)練停止誤差（訓(xùn)練次數(shù)）大小也影響測(cè)試誤差的大小。有時(shí)網(wǎng)絡(luò)訓(xùn)練停止誤差越小，反而網(wǎng)絡(luò)的性能越差。下面給出了仿真測(cè)試曲線：

圖2 不同r值下的模型預(yù)測(cè)曲線

3 蟻群算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)參數(shù)

從網(wǎng)絡(luò)性能測(cè)試結(jié)果和上面關(guān)于神經(jīng)網(wǎng)絡(luò)泛化能力的相關(guān)知識(shí)我們可以知道，要提高本文RBF神經(jīng)網(wǎng)絡(luò)模型的泛化能力。在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，我們所能做的就是在確定一個(gè)合適的r值（確定合理網(wǎng)絡(luò)結(jié)構(gòu)），并且判定合理的網(wǎng)絡(luò)訓(xùn)練停止誤差（也可以是學(xué)習(xí)次數(shù)）。

[圖3 蟻群算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)參數(shù)流程圖]

但是由于r值和網(wǎng)絡(luò)訓(xùn)練停止誤差是兩個(gè)參數(shù)，只有在兩個(gè)參數(shù)都合適的情況下才能獲得最好的網(wǎng)絡(luò)性能。這樣如何尋找這兩個(gè)參數(shù)的最優(yōu)組合就成了問題的關(guān)鍵點(diǎn)。采用手動(dòng)試驗(yàn)的方式由于兩個(gè)參數(shù)的不同組合太多而難以實(shí)施。因而本文決定采用目前流行的蟻群優(yōu)化算法對(duì)上述兩個(gè)參數(shù)進(jìn)行優(yōu)化，來(lái)提高RBF神經(jīng)網(wǎng)絡(luò)的性能。本文應(yīng)用蟻群算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)參數(shù)的流程如圖3所示。

這里我們將樣本數(shù)據(jù)分成3個(gè)部分：一部分為訓(xùn)練樣本集；一部分為內(nèi)部測(cè)試樣本集；一部分為外部測(cè)試樣本集。蟻群算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)參數(shù)的工作過(guò)程如下：

Step1：蟻群算法參數(shù)。

Step2：隨機(jī)選定r值和網(wǎng)絡(luò)訓(xùn)練停止誤差。

Step3：采用文中的網(wǎng)絡(luò)中心和權(quán)值訓(xùn)練方法，應(yīng)用訓(xùn)練樣本集訓(xùn)練RBF網(wǎng)絡(luò)。訓(xùn)練結(jié)束后，應(yīng)用內(nèi)部測(cè)試樣本集測(cè)試網(wǎng)絡(luò)泛化誤差。

Step4：根據(jù)泛化誤差計(jì)算蟻群算法適應(yīng)度函數(shù)，適應(yīng)度函數(shù)值滿足要求或蟻群算法迭代次數(shù)超過(guò)目標(biāo)次數(shù)則停止算法，并給出參數(shù)優(yōu)化結(jié)果。否則進(jìn)行蟻群算法操作重新搜索r值和網(wǎng)絡(luò)訓(xùn)練停止誤差后返回Step3。

通過(guò)蟻群算法的優(yōu)化，我們最后得到r=1.37，網(wǎng)絡(luò)訓(xùn)練停止誤差為6.3×10-4。此時(shí)RBF神經(jīng)網(wǎng)絡(luò)仿真結(jié)果如下：

[圖4 蟻群算法優(yōu)化后的模型預(yù)測(cè)曲線]

第4篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

關(guān)鍵詞：客運(yùn)量預(yù)測(cè)；蟻群算法；神經(jīng)網(wǎng)絡(luò)；ACONN模型；灰色預(yù)測(cè)

中圖分類號(hào)：G642 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）06-1348-04

Prediction and Analysis of Hefei Highway Passenger Quantity Based on ACA-NN

ZHANG Qinq-lin，LIU Chun-ling

（Department of Information Engineering， Anhui Economic Management Institute， Hefei 230051，China）

Abstract： According to the defects of neural network， this paper puts forward neural network highway customer forecast method which based on colony algorithm optimization. This model is used common BP neural network structure， the algorithm is used is a new kind of evolutionary algorithm- ant colony algorithm. Finally， it takes

highway passenger transportation in hefei as an example， try ACONN ant colony neural network application in the passenger traffic forecast， results show that the ant colony neural network model's prediction precision is better than other models.

Key words： Passenger traffic forecast；ant colony algorithm；neural networks；ACONN model；gray prediction

隨著汽車保有量的增加，公路客運(yùn)量也隨之增加，公路客運(yùn)能力受到了極大的挑戰(zhàn)。如何有效利用現(xiàn)有工具來(lái)預(yù)測(cè)客運(yùn)量，滿足公路客運(yùn)管理和交通工程建設(shè)，這是交通管理和建設(shè)部門面臨的一項(xiàng)重要工作任務(wù)。國(guó)內(nèi)外學(xué)者對(duì)預(yù)測(cè)模型進(jìn)行了大量詳盡的研究，其中AR模型、ARMA模型、ARIMA模型、Box-Jenkins方法、馬爾可夫方法、灰色系統(tǒng)方法及統(tǒng)計(jì)回歸方法等建模方法比較常用[1～2]。這些方法很多是線性的，無(wú)法逼近真實(shí)的歷史數(shù)據(jù)；也有利用原始BP神經(jīng)網(wǎng)絡(luò)方法來(lái)預(yù)測(cè)，雖然多層BP網(wǎng)絡(luò)可以實(shí)現(xiàn)任意可實(shí)現(xiàn)的線性和非線性函數(shù)的映射，但是在訓(xùn)練過(guò)程中易陷入局部最小的情況，所以這些預(yù)測(cè)方法的準(zhǔn)確率還不是很高。該文針對(duì)神經(jīng)網(wǎng)絡(luò)存在無(wú)法有效收斂最優(yōu)值問題，構(gòu)建基于蟻群算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)的公路客運(yùn)預(yù)測(cè)模型[3]。經(jīng)過(guò)對(duì)2012年合肥公路客運(yùn)量進(jìn)行預(yù)測(cè)分析，掌握各個(gè)時(shí)段客運(yùn)量的分布，有利于相關(guān)部門作出相應(yīng)決策，應(yīng)對(duì)客運(yùn)高峰期帶來(lái)的種種壓力，更好地滿足廣大人民群眾的需求， 以最合理的人力和財(cái)力的投入，來(lái)獲得最大經(jīng)濟(jì)效率，達(dá)到最好的社會(huì)效果。

1 蟻群算法

蟻群算法（Ant Colony Algorithm，簡(jiǎn)稱ACA）是人們受到對(duì)自然界中真實(shí)的螞蟻群體行為啟發(fā)而提出的一種仿生優(yōu)化算法。屬于隨機(jī)搜索算法，該算法是在1991年召開的第一界歐洲人工生命會(huì)議上，由Dorigo M等人第一次提出的關(guān)于蟻群算法的基本模型[4]。Dorigo M等人通過(guò)模擬螞蟻搜索食物的過(guò)程（就是怎樣去找到蟻穴到食物源的最短路徑，前提是在個(gè)體之間相互合作的情況下）來(lái)求解TSP問題。

該算法以前主要解決一維的靜態(tài)優(yōu)化問題，發(fā)展到現(xiàn)在用于解決多維動(dòng)態(tài)組合優(yōu)化的問題，在多種研究領(lǐng)域，已經(jīng)得到廣泛應(yīng)用。蟻群算法目前軟件及硬件的實(shí)現(xiàn)上都取得了突破性的研究進(jìn)展，既具有深刻的學(xué)術(shù)思想，又具有廣闊的發(fā)展前景。

以TSP為例，基本蟻群算法的程序結(jié)構(gòu)流程圖如圖1。

2 蟻群算法與神經(jīng)網(wǎng)絡(luò)NN（Neural Network）的融合

2.1 基本思想

針對(duì)反向傳播BP（Back Propagation）算法容易陷入局部極小的不足，采用蚊群優(yōu)化算法ACO（Ant Colony Optimization）訓(xùn)練方法。[5]蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程就是在實(shí)數(shù)權(quán)值組合中，找到一組最優(yōu)的，使得期望結(jié)果與輸出結(jié)果之間的誤差達(dá)到最小，而蟻群算法正是尋找這樣的最優(yōu)權(quán)值組合的不錯(cuò)選擇。

2.2 構(gòu)建蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)ACONN系統(tǒng)

應(yīng)用蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)ACONN（Ant Colony Optimization Neural Network）系統(tǒng)預(yù)測(cè)的框圖2如下，首先對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理，再建立原始的神經(jīng)網(wǎng)絡(luò)，再次利用蟻群算法來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值、閾值構(gòu)建一個(gè)性能完好的ACONN系統(tǒng)，最后利用優(yōu)化好的ACONN系統(tǒng)來(lái)預(yù)測(cè)，輸出預(yù)測(cè)數(shù)據(jù)。

圖2 ACONN系統(tǒng)預(yù)測(cè)圖

3 合肥客運(yùn)量預(yù)測(cè)的蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

3.1 樣本采集與數(shù)據(jù)預(yù)處理

樣本選擇了以合肥市歷年的客運(yùn)量為樣本數(shù)據(jù)，月為單位的訓(xùn)練樣本選擇了2011年每月的數(shù)據(jù)，預(yù)測(cè)2012年中每月的客運(yùn)總量。

由于BP神經(jīng)網(wǎng)絡(luò)要求輸入的數(shù)據(jù)范圍一般在（0，1）。因此對(duì)樣本數(shù)據(jù)進(jìn)行歸一化處理。其公式為[6]：

[Y=X-XminXmax-Xmin]

其中Xmax取一個(gè)比較大的值，保證預(yù)測(cè)年的數(shù)據(jù)小于該數(shù)值， Xmin取一個(gè)小于樣本數(shù)據(jù)序列中最小值的值，保證歸一化后的數(shù)據(jù)不太接近于0。

3.2 預(yù)測(cè)方式選擇及ACONN的訓(xùn)練樣本設(shè)計(jì)

我們知道，目前我們基于蟻群優(yōu)化的神經(jīng)網(wǎng)絡(luò)的客運(yùn)預(yù)測(cè)模型，它是屬于一種數(shù)據(jù)驅(qū)動(dòng)的方法，也就是說(shuō)，我們?nèi)ダ媚壳吧窠?jīng)網(wǎng)絡(luò)的一種非線性的特性去逼近一個(gè)時(shí)間序列，這樣通過(guò)神經(jīng)網(wǎng)絡(luò)的清晰邏輯關(guān)系，并且利用過(guò)去時(shí)刻的值，去表達(dá)未來(lái)某一時(shí)刻的值。我們的人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)，目前可以分為單變量時(shí)間序列預(yù)測(cè)和多變量時(shí)間序列預(yù)測(cè)[7]。所以說(shuō)無(wú)論是單變量時(shí)間序列預(yù)測(cè)還是多變量時(shí)間序列預(yù)測(cè)，都可以使用我們平時(shí)的常用的方法，共有三種是：?jiǎn)尾筋A(yù)測(cè)，滾動(dòng)預(yù)測(cè)，多步預(yù)測(cè)[8]。

現(xiàn)采用的是滾動(dòng)預(yù)測(cè)方式，在訓(xùn)練樣本設(shè)計(jì)時(shí)需要根據(jù)網(wǎng)絡(luò)的結(jié)構(gòu)。以月為單位預(yù)測(cè)，采用2個(gè)輸入，即連續(xù)兩年的同月份2個(gè)月數(shù)據(jù)作為輸入，下一年同月份作為輸出。設(shè)有歸一化的樣本集 X（t）（t=1，2，…，n），選擇一步預(yù)測(cè)時(shí)，選取個(gè)m輸入，1個(gè)輸出，可組成如下的訓(xùn)練組對(duì)：

表1

[輸入數(shù)據(jù) 期望輸出＼&X（1），X（2），…，X（m） X（m+1）＼&X（2），X（3），…，X（m+1） X（m+2）＼&…… ……＼&X（n-m），X（n-m+1），…，X（n-1） X（n）＼&]

3.3 蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)

現(xiàn)在我們所熟知的蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)采用具有一個(gè)隱含層的三層BP網(wǎng)絡(luò)結(jié)構(gòu)。由于采用年和月為單位預(yù)測(cè)，因此根據(jù)需要在輸入層、隱含層上有差別，具體的各層神經(jīng)元個(gè)數(shù)在年與月的預(yù)測(cè)中有具體的設(shè)置。目前，我們可以去根據(jù)萬(wàn)能逼近定理，如果有一個(gè)三層的BP網(wǎng)絡(luò)，它可以以任意的精度去逼近一個(gè)連續(xù)函數(shù)。這樣，也就是說(shuō)可以采用具有一個(gè)隱含層的三層BP網(wǎng)絡(luò)結(jié)構(gòu)。在網(wǎng)絡(luò)模型結(jié)構(gòu)確定的基礎(chǔ)上設(shè)定網(wǎng)絡(luò)參數(shù)，網(wǎng)絡(luò)的連接數(shù)目S，蟻群算法參數(shù)選為ρ=0.7，Ant=40，網(wǎng)絡(luò)權(quán)值參數(shù)隨機(jī)值選值N=30， 網(wǎng)絡(luò)權(quán)值參數(shù)隨機(jī)值范圍為[-3，3]，訓(xùn)練次數(shù)為500次學(xué)習(xí)，像Q、S等參數(shù)根據(jù)年和月的預(yù)測(cè)會(huì)有所不同，在后續(xù)有具體設(shè)置。

3.4 預(yù)測(cè)分析

現(xiàn)在用蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)ACONN、反向傳播神經(jīng)網(wǎng)絡(luò)BPNN、灰色預(yù)測(cè)GM（1，1）三種模型分別對(duì)來(lái)合肥市客運(yùn)量進(jìn)行預(yù)測(cè)[9-10]。ACONN是通過(guò)蟻群算法找到最優(yōu)的初始權(quán)值，從而固定了初始權(quán)值，因此每次的預(yù)測(cè)值幾乎趨于固定；可是目前神經(jīng)網(wǎng)絡(luò)中，我們知道它的初始權(quán)值的選取，都是具有隨機(jī)性的，所有我們?nèi)ナ褂孟嗤臄?shù)據(jù)，去進(jìn)行多次預(yù)測(cè)時(shí)時(shí)候，得到的預(yù)測(cè)結(jié)果就不會(huì)完全相同。因此，為了使預(yù)測(cè)更具有一定的普遍性，ACONN與BPNN可以采取一樣的網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)我們選取10次預(yù)測(cè)的平均值作為最終的預(yù)測(cè)結(jié)果。

將ACONN、BPNN、GM（1，1）模型分別作預(yù)測(cè)，將預(yù)測(cè)結(jié)果進(jìn)行反歸一化，預(yù)測(cè)結(jié)果如下表：

表2

將ACONN、BPNN、GM（1，1）模型預(yù)測(cè)合肥市客運(yùn)量結(jié)果用圖形表示，可以更直觀看到它們之間預(yù)測(cè)的精度。具體預(yù)測(cè)結(jié)果如圖3。

圖3 ACONN、BPNN、GM（1，1）模型預(yù)測(cè)結(jié)果圖

從每幅圖形可以直觀地看出ACONN的數(shù)據(jù)在實(shí)際值附近有很小的波動(dòng)，BPNN數(shù)據(jù)值比ACONN的在實(shí)際值附近波動(dòng)要大些，而GM（1，1）數(shù)據(jù)只有中間很小區(qū)間比較精確一點(diǎn)，而數(shù)據(jù)的開始和末端狀態(tài)都表現(xiàn)出發(fā)散，其數(shù)據(jù)預(yù)測(cè)精度不高。所以比較之，ACONN很明顯表現(xiàn)出很好的優(yōu)勢(shì)，預(yù)測(cè)數(shù)據(jù)比較穩(wěn)定。

4 結(jié)束語(yǔ)

ARIMA模型、Box-Jenkins方法、馬爾可夫方法、灰色系統(tǒng)方法及統(tǒng)計(jì)回歸方法等，這些預(yù)測(cè)方法很多是線性的，無(wú)法逼近真實(shí)的歷史數(shù)據(jù)。利用原始BP神經(jīng)網(wǎng)絡(luò)方法來(lái)預(yù)測(cè)，我們現(xiàn)在知道，雖然多層的BP網(wǎng)絡(luò)能去實(shí)現(xiàn)任意一個(gè)可實(shí)現(xiàn)的線性以及非線性函數(shù)的映射，但是在訓(xùn)練過(guò)程中易陷入局部最小的情況，所以這些預(yù)測(cè)方法的準(zhǔn)確率還不是很高。經(jīng)過(guò)分析蟻群算法在神經(jīng)網(wǎng)絡(luò)中應(yīng)用的可行性后，提出一種基于蟻群算法和神經(jīng)網(wǎng)絡(luò)相結(jié)合的新型預(yù)測(cè)方法，該方法可以有效地避免原始BP神經(jīng)網(wǎng)絡(luò)存在的問題和單一預(yù)測(cè)方法精確度不高的缺陷，為預(yù)測(cè)提供了新的途徑。

參考文獻(xiàn)：

[1] 翁鋼民，鄭竹葉，劉洋，等.基于GM-Markov 模型的旅游客源預(yù)測(cè)[J].燕山大學(xué)學(xué)報(bào)，2008，9（2）：109-112.

[2] 李松，劉力軍，郭海玲.短時(shí)交通流混沌預(yù)測(cè)方法的比較[J].系統(tǒng)工程，2009，27（9）：60-64.

[3] 董超俊，劉智勇.多層混沌神經(jīng)網(wǎng)絡(luò)及其在交通量預(yù)測(cè)中的應(yīng)用[J].系統(tǒng)仿真學(xué)報(bào)，2007，19（10）：101-104.

[4] 張維存，鄭丕諤，吳曉丹.蟻群遺傳算法求解能力約束的柔性作業(yè)車間調(diào)度問題[J].計(jì)算機(jī)集成制造系統(tǒng)，2007，13（2）：333-337.

[5] 萬(wàn)李，楊杰.小波神經(jīng)網(wǎng)絡(luò)在短時(shí)交通流量預(yù)測(cè)中的應(yīng)用[J].計(jì)算機(jī)仿真，2012，29（9）：352-355.

[6] 方琴，李永前.K 近鄰短期交通流預(yù)測(cè)[J].重慶交通大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，31（4）：829-831.

[7] 吳寶春，鄭蕊蕊，李敏，楊亞寧.基于遺傳灰色GM（1，1，ρ）模型的短時(shí)交通流量預(yù)測(cè)[J].電子設(shè)計(jì)工程，2012，20（13）：165-167.

[8] 郭杰，丁镠，朱超余.灰色預(yù)測(cè)模型的系統(tǒng)動(dòng)力學(xué)仿真[J].電子設(shè)計(jì)工程，2011，19（14）：4-7.

第5篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

關(guān)鍵詞：瓦斯突出；微粒群算法；RBF神經(jīng)網(wǎng)絡(luò)；MATLAB

中國(guó)分類號(hào): TP183；文獻(xiàn)標(biāo)識(shí)碼: A

前言

瓦斯突出的產(chǎn)生機(jī)理和預(yù)測(cè)過(guò)程比較復(fù)雜， RBF神經(jīng)網(wǎng)絡(luò)在瓦斯突出預(yù)測(cè)中起到了很重要的作用。煤礦瓦斯突出的影響指標(biāo)很多，并且各個(gè)指標(biāo)與瓦斯突出之間的關(guān)系為非線性的關(guān)系，因此要求RBF神經(jīng)網(wǎng)絡(luò)具有很好的非線性逼近能力。

RBF神經(jīng)網(wǎng)絡(luò)是以函數(shù)逼近理論為基礎(chǔ)構(gòu)造的一類前向網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)自適應(yīng)確定，輸入與初始值無(wú)關(guān)，結(jié)構(gòu)簡(jiǎn)單，訓(xùn)練簡(jiǎn)潔，能夠逼近任意非線性函數(shù)，而且在逼近能力、分類能力和學(xué)習(xí)速度方面均優(yōu)于BP網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的設(shè)計(jì)包括三部分：神經(jīng)元功能函數(shù)的設(shè)計(jì)，神經(jīng)元之間的連接形式的確定以及網(wǎng)絡(luò)訓(xùn)練方式的確定。在這三部分中隱單元RBF的設(shè)計(jì)是比較重要的。RBF函數(shù)是一種局部分布的對(duì)中心點(diǎn)徑向?qū)ΨQ的非負(fù)非線性函數(shù)。但是在神經(jīng)元功能函數(shù)的設(shè)計(jì)中，RBF功能函數(shù)的中心ci的確定有很大的難度。

通常使用隨機(jī)選取固定中心法，中心的自組織選擇法等，但是由于這些學(xué)習(xí)訓(xùn)練方法的局限性，通過(guò)這些方法得到的神經(jīng)網(wǎng)絡(luò)適用性和泛化能力比較差，不能滿足瓦斯突出預(yù)測(cè)的要求。本文利用微粒群算法來(lái)計(jì)算出通過(guò)學(xué)習(xí)訓(xùn)練得到的RBF神經(jīng)網(wǎng)絡(luò)的隱單元RBF的中心ci的適應(yīng)度的方法來(lái)確定最后的隱單元RBF的中心ci，并且不斷的在以后的實(shí)踐應(yīng)用中更新學(xué)習(xí)訓(xùn)練所用的數(shù)據(jù)庫(kù)，系統(tǒng)根據(jù)數(shù)據(jù)庫(kù)的變化，可以優(yōu)化原有的隱單元RBF的中心ci ，提高了神經(jīng)網(wǎng)絡(luò)的逼近能力，有效的客服了RBF神經(jīng)網(wǎng)絡(luò)局部最優(yōu)的缺點(diǎn)。

1、微粒群算法

1.1基本微粒群算法

微粒群算法（particle swarm optimization，PSO）是1995年由美國(guó)社會(huì)心理學(xué)家J.Kennedy和電氣工程師R.Heppner共同提出的，其基本思想是受鳥類群體行為研究結(jié)果的啟發(fā)，并利用了生物學(xué)家F.Heppner的生物群體模型[2]。算法原理如下：

微粒群算法主要是使用微粒的適應(yīng)度大小進(jìn)行尋找全局最優(yōu)和優(yōu)化參數(shù)。他將種群中的每個(gè)個(gè)體看作是N維空間的一個(gè)沒有質(zhì)量和體積的微粒，并且在搜索空間以一定的速度飛行，在飛行過(guò)程中不斷根據(jù)環(huán)境的改變來(lái)改變自身的速度和方向，直到找到適應(yīng)度最好的位置。假設(shè)Xi=（xa1，xa2，xa3，……xan為微粒i的當(dāng)前位置，Vi=（va1，va2，va3，…… van）代表微粒當(dāng)前的飛行速度，Pi=（pa1，pa2，pa3，……pan）表示微粒經(jīng)歷的適應(yīng)度最好的位置，這是局部最優(yōu)位置。

當(dāng)f(xi(a+1))≥f(Pi(a)) 時(shí)Pi(a+1)= Pi(a)

當(dāng)f(xi(a+1) ＜f(P(a)) 時(shí)Pi(a+1)= Xi(a+1) 所以全局最優(yōu)位置P（a）=min{f(P0(a) ，P1(a)……Pn(a)}。同時(shí)可以得出進(jìn)化方程為：vij (t+1)=vij (t)+c1v1j(t)[pij (t)-xij (t)]+c2r2j(t)[pgj (t)-xij (t)]

為了更好的確定和優(yōu)化RBF的中心ci，計(jì)算每個(gè)數(shù)據(jù)庫(kù)得到的中心ci的均方誤差，計(jì)算出每個(gè)中心ci的適應(yīng)度：

E（Xp）=[Yk,p(Xp)-tk,p]

有適應(yīng)度來(lái)確定的適應(yīng)度函數(shù)如下：

f(x)=

1.2帶慣性權(quán)重的微粒群算法

在全局搜索過(guò)程中，搜索能力和收斂速度是相對(duì)立的，如果搜索能力高了，收斂速度就會(huì)相對(duì)變慢，為了解決這一問題，在速度進(jìn)化方程中引用了慣性權(quán)重，具體公式如下：

vij(t+1)=wvij(t)+c1v1j(t)[pij(t)-xij(t)]+c2r2j(t)[pgj(t)-xij(t)] 式中w稱為慣性權(quán)重。

在全局搜索利過(guò)程中，慣性權(quán)重w可以根據(jù)要求按照一定趨勢(shì)改變，這樣就既能保證搜索能力又能加快收斂速度。

2、RBF神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是對(duì)人類大腦系統(tǒng)一階特性的一種描述，有類似人的神經(jīng)元的處理單元通過(guò)各種連接方式連接起來(lái)構(gòu)成，整個(gè)網(wǎng)絡(luò)同時(shí)具有一個(gè)或是多個(gè)的輸入和輸出，能夠?qū)π畔⑦M(jìn)行并行和分布處理。人工神經(jīng)網(wǎng)絡(luò)主要包括三方面的內(nèi)容：激活函數(shù)，神經(jīng)元之間的連接形式，網(wǎng)絡(luò)的學(xué)習(xí)或者是訓(xùn)練。

激活函數(shù)為徑向基函數(shù)（RBF）的神經(jīng)網(wǎng)絡(luò)為RBF神經(jīng)網(wǎng)絡(luò)，RBF神經(jīng)網(wǎng)絡(luò)是一個(gè)單隱層的三層前饋網(wǎng)絡(luò)，分別為輸入層，隱含層，輸出層。隱含層的傳遞函數(shù)為radbas。徑向基網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。實(shí)驗(yàn)已經(jīng)證明：徑向基網(wǎng)絡(luò)能夠以任意精度逼近任意連續(xù)函數(shù)。每個(gè)RBF的節(jié)點(diǎn)有一個(gè)“參考”輸入x*i,f是輸入與“參考”輸入的距離d(x*i,xi )的函數(shù)，函數(shù)中的距離有節(jié)點(diǎn)輸出y =f(d(x*i,xi ))來(lái)計(jì)算。

RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)主要有兩種：中心自組織選擇法和中心的監(jiān)督選擇發(fā)。中心的自組織選擇法是一種無(wú)導(dǎo)師，也稱非監(jiān)督學(xué)習(xí)，是對(duì)所有的輸入進(jìn)行聚類，求得各隱單元RBF的中心ci。中心的監(jiān)督選擇法是一種有導(dǎo)師的學(xué)習(xí)，也稱為監(jiān)督學(xué)習(xí)算法。主要是通過(guò)一個(gè)有導(dǎo)師或是有監(jiān)督的學(xué)習(xí)過(guò)程來(lái)確定隱單元RBF的中心ci。

3、RBF神經(jīng)網(wǎng)絡(luò)隱單元RBF的中心ci 的確定和優(yōu)化的過(guò)程

本文利用普通的學(xué)習(xí)訓(xùn)練法和帶慣性權(quán)重的微粒群算法相結(jié)合的方法來(lái)進(jìn)行RBF神經(jīng)網(wǎng)絡(luò)隱單元RBF的中心ci的確定和優(yōu)化。具體過(guò)程如圖1所示。

（1）用一定數(shù)量的與瓦斯突出有關(guān)信息組成一個(gè)數(shù)據(jù)庫(kù)，并且將這個(gè)數(shù)據(jù)庫(kù)分為若干個(gè)子數(shù)據(jù)庫(kù).使用這些子數(shù)據(jù)庫(kù)分別對(duì)RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到隱單元RBF的中心c1,c2,c3……。

（2）將上面得到的若干個(gè)隱單元RBF的中心作為一個(gè)個(gè)體（微粒），有這些個(gè)體組成一個(gè)種群，其中每個(gè)個(gè)體代表先前計(jì)算出的一個(gè)隱單元RBF的中心。初始化Gbest和Lbest。

（3）使用帶慣性權(quán)重的微粒群算法來(lái)確定最后的隱單元中心，通過(guò)計(jì)算每個(gè)微粒適應(yīng)度來(lái)確定中心ci，然后通過(guò)適應(yīng)度函數(shù)來(lái)優(yōu)化中心ci，最后形成RBF神經(jīng)網(wǎng)絡(luò)。

（4）把井下測(cè)得的數(shù)據(jù)作為輸入，來(lái)進(jìn)行瓦斯突出預(yù)測(cè)，并且把井下的信息和預(yù)測(cè)結(jié)果，作為下次更新數(shù)據(jù)庫(kù)和優(yōu)化隱單元中心的依據(jù)。

（5）每進(jìn)行一次預(yù)測(cè)，數(shù)據(jù)庫(kù)的信息就根據(jù)實(shí)際情況和預(yù)測(cè)結(jié)果進(jìn)行一次更新，根據(jù)更新的數(shù)據(jù)庫(kù)，對(duì)得到的隱單元中心進(jìn)行優(yōu)化，提高了系統(tǒng)的適應(yīng)能力和自學(xué)習(xí)能力。

4、帶慣性權(quán)重的微粒群算法的Matlab程序設(shè)計(jì)和瓦斯突出預(yù)測(cè)

使用Matlab進(jìn)行程序時(shí)所用到的函數(shù)如下：

PSO：主函數(shù)，用于調(diào)用微粒群算法。

DrawSwarm：繪圖函數(shù)，主要用來(lái)反映每個(gè)微粒的進(jìn)化過(guò)程。

psoOption：參數(shù)顯示函數(shù)，主要用于顯示帶慣性權(quán)重的微粒群算法的參數(shù)設(shè)置情況。

使用多個(gè)函數(shù)形成函數(shù)模塊，實(shí)現(xiàn)對(duì)隱單元RBF的中心ci的確定和優(yōu)化。帶慣性權(quán)重的微粒群算法進(jìn)行確定和優(yōu)化神經(jīng)網(wǎng)絡(luò)隱單元RBF的中心ci的函數(shù)模塊為：[fxmin,xmin,Swarm,history]=pso(input,psoOptions);

選取一定量的信息形成數(shù)據(jù)庫(kù)，然后隨機(jī)的劃分為若干個(gè)子數(shù)據(jù)庫(kù)，通過(guò)學(xué)習(xí)訓(xùn)練來(lái)產(chǎn)生一些中心c1,c2,c3……，然后再組成種群，利用函數(shù)模塊來(lái)確定和優(yōu)化RBF的中心。具體實(shí)驗(yàn)數(shù)據(jù)如下表1所示：

利用Matlab運(yùn)行該函數(shù)模塊來(lái)確定和優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)時(shí)，算法程序運(yùn)行時(shí)出現(xiàn)的最優(yōu)適應(yīng)度值隨著迭代次數(shù)的變化如圖2所示。

當(dāng)函數(shù)模塊算法程序運(yùn)行時(shí)出現(xiàn)的適應(yīng)度值滿足要求時(shí)，說(shuō)明此時(shí)的ci的最優(yōu)化完成，可以來(lái)確定RBF神經(jīng)網(wǎng)絡(luò)。

把上面經(jīng)過(guò)優(yōu)化神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行瓦斯突出預(yù)測(cè)，需要預(yù)測(cè)的樣本數(shù)據(jù)如下表2所示：

其中運(yùn)行結(jié)果用1表示安全，-1表示突出。

運(yùn)用MATLAB對(duì)樣本數(shù)據(jù)進(jìn)行測(cè)試，測(cè)試代碼如下：

pl=[0.809.011.530.2 ]；

p2=[0.153.51.27.3]：

y1=sim(net，p1) ；

y2=sim(net，p2) ；

最后預(yù)測(cè)結(jié)果是y1=-0.9908，y2=1.005；

可見該系統(tǒng)能夠準(zhǔn)確的預(yù)測(cè)出瓦斯突出。

總結(jié)

使用RBF神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行瓦斯突出預(yù)測(cè)比其他方式的預(yù)測(cè)具有很好的效果，但是由于煤礦的環(huán)境比較特殊，瓦斯突出產(chǎn)生的機(jī)理比較復(fù)雜，并且不同煤礦的影響瓦斯突出的因素也不相同，所以要求神經(jīng)網(wǎng)絡(luò)具有很好的適應(yīng)性和自學(xué)習(xí)能力。但是RBF神經(jīng)網(wǎng)絡(luò)的隱單元RBF的中心ci的確定是基于數(shù)據(jù)空間局部的信息，很難都到全局最優(yōu)，嚴(yán)重影響了RBF神經(jīng)網(wǎng)絡(luò)的適應(yīng)性和自學(xué)習(xí)能力。本文利用帶慣性權(quán)重的微粒群算法來(lái)確定和優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)，慣性權(quán)重w能起到保證全局最優(yōu)和局部搜索能力的平衡的作用，能夠在保證全局最優(yōu)的前提下，提高搜索全局最優(yōu)的速度，提高了預(yù)測(cè)的準(zhǔn)確度。

參考文獻(xiàn)

第6篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

（江蘇科技大學(xué)電子信息學(xué)院，江蘇鎮(zhèn)江212003）

摘要：在實(shí)際交通環(huán)境中，由于運(yùn)動(dòng)模糊、背景干擾、天氣條件以及拍攝視角等因素，所采集的交通標(biāo)志的圖像質(zhì)量往往不高，這就對(duì)交通標(biāo)志自動(dòng)識(shí)別的準(zhǔn)確性、魯棒性和實(shí)時(shí)性提出了很高的要求。針對(duì)這一情況，提出一種基于深層卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別方法。該方法采用深層卷積神經(jīng)網(wǎng)絡(luò)的有監(jiān)督學(xué)習(xí)模型，直接將采集的交通標(biāo)志圖像經(jīng)二值化后作為輸入，通過(guò)卷積和池采樣的多層處理，來(lái)模擬人腦感知視覺信號(hào)的層次結(jié)構(gòu)，自動(dòng)地提取交通標(biāo)志圖像的特征，最后再利用一個(gè)全連接的網(wǎng)絡(luò)實(shí)現(xiàn)交通標(biāo)志的識(shí)別。實(shí)驗(yàn)結(jié)果表明，該方法利用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)能力，自動(dòng)地提取交通標(biāo)志的特征，避免了傳統(tǒng)的人工特征提取，有效地提高了交通標(biāo)志識(shí)別的效率，具有良好的泛化能力和適應(yīng)范圍。

關(guān)鍵詞 ：交通標(biāo)志；識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)

中圖分類號(hào)：TN911.73?34；TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004?373X（2015）13?0101?06

收稿日期：2015?01?09

基金項(xiàng)目：國(guó)家自然科學(xué)基金面上項(xiàng)目（61371114）

0 引言

隨著智能汽車的發(fā)展，道路交通標(biāo)志的自動(dòng)識(shí)別[1?3]作為智能汽車的基本技術(shù)之一，受到人們的高度關(guān)注。道路交通標(biāo)志識(shí)別主要包括兩個(gè)基本環(huán)節(jié)：首先是交通標(biāo)志的檢測(cè)，包括交通標(biāo)志的定位、提取及必要的預(yù)處理；其次是交通標(biāo)志的識(shí)別，包括交通標(biāo)志的特征提取和分類。

如今，交通標(biāo)志的識(shí)別方法大多數(shù)都采用人工智能技術(shù)，主要有下述兩類形式[4]。一種是采用“人工特征+機(jī)器學(xué)習(xí)”的識(shí)別方法，如基于淺層神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)的特征識(shí)別等。在這種方法中，主要依靠先驗(yàn)知識(shí)，人工設(shè)計(jì)特征，機(jī)器學(xué)習(xí)模型僅負(fù)責(zé)特征的分類或識(shí)別，因此特征設(shè)計(jì)的好壞直接影響到整個(gè)系統(tǒng)性能的性能，而要發(fā)現(xiàn)一個(gè)好的特征，則依賴于研究人員對(duì)待解決的問題的深入理解。另一種形式是近幾年發(fā)展起來(lái)的深度學(xué)習(xí)模型[5]，如基于限制波爾茲曼機(jī)和基于自編碼器的深度學(xué)習(xí)模型以及卷積神經(jīng)網(wǎng)絡(luò)等。在這種方法中，無(wú)需構(gòu)造任何的人工特征，而是直接將圖像的像素作為輸入，通過(guò)構(gòu)建含有多個(gè)隱層的機(jī)器學(xué)習(xí)模型，模擬人腦認(rèn)知的多層結(jié)構(gòu)，逐層地進(jìn)行信息特征抽取，最終形成更具推廣性和表達(dá)力的特征，從而提升識(shí)別的準(zhǔn)確性。

卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)模型之一，是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，它利用一系列的卷積層、池化層以及一個(gè)全連接輸出層構(gòu)建一個(gè)多層的網(wǎng)絡(luò)，來(lái)模仿人腦感知視覺信號(hào)的逐層處理機(jī)制，以實(shí)現(xiàn)視覺特征信號(hào)的自動(dòng)提取與識(shí)別。本文將深層卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于道路交通標(biāo)志的識(shí)別，通過(guò)構(gòu)建一個(gè)由二維卷積和池化處理交替組成的6層網(wǎng)絡(luò)來(lái)逐層地提取交通標(biāo)志圖像的特征，所形成的特征矢量由一個(gè)全連接輸出層來(lái)實(shí)現(xiàn)特征的分類和識(shí)別。實(shí)驗(yàn)中將加入高斯噪聲、經(jīng)過(guò)位移、縮放和旋轉(zhuǎn)處理的交通標(biāo)志圖像以及實(shí)際道路采集交通標(biāo)志圖像分別構(gòu)成訓(xùn)練集和測(cè)試集，實(shí)驗(yàn)結(jié)果表明，本文所采用的方法具有良好的識(shí)別率和魯棒性。

1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)及原理

1.1 深度學(xué)習(xí)

神經(jīng)科學(xué)研究表明，哺乳動(dòng)物大腦皮層對(duì)信號(hào)的處理沒有一個(gè)顯示的過(guò)程[5]，而是通過(guò)信號(hào)在大腦皮層復(fù)雜的層次結(jié)構(gòu)中的遞進(jìn)傳播，逐層地對(duì)信號(hào)進(jìn)行提取和表述，最終達(dá)到感知世界的目的。這些研究成果促進(jìn)了深度學(xué)習(xí)這一新興研究領(lǐng)域的迅速發(fā)展。

深度學(xué)習(xí)[4，6?7]的目的就是試圖模仿人腦感知視覺信號(hào)的機(jī)制，通過(guò)構(gòu)建含有多個(gè)隱層的多層網(wǎng)絡(luò)來(lái)逐層地對(duì)信號(hào)特征進(jìn)行新的提取和空間變換，以自動(dòng)學(xué)習(xí)到更加有效的特征表述，最終實(shí)現(xiàn)視覺功能。目前深度學(xué)習(xí)已成功地應(yīng)用到語(yǔ)音識(shí)別、圖像識(shí)別和語(yǔ)言處理等領(lǐng)域。在不同學(xué)習(xí)框架下構(gòu)建的深度學(xué)習(xí)結(jié)構(gòu)是不同的，如卷積神經(jīng)網(wǎng)絡(luò)就是一種深度的監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型。

1.2 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)及原理

卷積神經(jīng)網(wǎng)絡(luò)受視覺系統(tǒng)的結(jié)構(gòu)啟發(fā)而產(chǎn)生，第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)計(jì)算模型是在Fukushima 的神經(jīng)認(rèn)知機(jī)中提出的[8]，基于神經(jīng)元之間的局部連接和分層組織圖像轉(zhuǎn)換，將有相同參數(shù)的神經(jīng)元應(yīng)用于前一層神經(jīng)網(wǎng)絡(luò)的不同位置，得到一種平移不變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)形式。后來(lái)，LeCun 等人在該思想的基礎(chǔ)上，用誤差梯度設(shè)計(jì)并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)[9?10]，在一些模式識(shí)別任務(wù)上得到優(yōu)越的性能。

卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種有監(jiān)督的深度學(xué)習(xí)算法，無(wú)需事先知道輸入與輸出之間精確的數(shù)學(xué)表達(dá)式，只要用已知的模式對(duì)卷積神經(jīng)網(wǎng)絡(luò)加以訓(xùn)練，就可以學(xué)習(xí)到輸入與輸出之間的一種多層的非線性關(guān)系，這是非深度學(xué)習(xí)算法不能做到的。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)是由一系列的卷積和池化層以及一個(gè)全連接的輸出層組成，可以采用梯度下降法極小化誤差函數(shù)對(duì)網(wǎng)絡(luò)中的權(quán)值和閾值參數(shù)逐層反向調(diào)節(jié)，以得到網(wǎng)絡(luò)權(quán)值和閾值的最優(yōu)解，并可以通過(guò)增加迭代次數(shù)來(lái)提高網(wǎng)絡(luò)訓(xùn)練的精度。

1.2.1 前向傳播

在卷積神經(jīng)網(wǎng)絡(luò)的前向傳播中，輸入的原始圖像經(jīng)過(guò)逐層的卷積和池化處理后，提取出若干特征子圖并轉(zhuǎn)換成一維特征矢量，最后由全連接的輸出層進(jìn)行分類識(shí)別。

在卷積層中，每個(gè)卷積層都可以表示為對(duì)前一層輸入圖像的二維卷積和非線性激勵(lì)函數(shù)，其表達(dá)式可用式（1）表示：

式中：Yj 表示輸出層中第j 個(gè)輸出；Y l + 1i 是前一層（l + 1層）

的輸出特征（全連接的特征向量）；n 是輸出特征向量的長(zhǎng)度；Wij 表示輸出層的權(quán)值，連接輸入i 和輸出j ；bj表示輸出層第j 個(gè)輸出的閾值；f (?) 是輸出層的非線性

1.2.2 反向傳播

在反向傳播過(guò)程中，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法采用類似于BP神經(jīng)網(wǎng)絡(luò)的梯度最速下降法，即按極小化誤差的方法反向傳播調(diào)整權(quán)值和閾值。網(wǎng)絡(luò)反向傳播回來(lái)的誤差是每個(gè)神經(jīng)元的基的靈敏度[12]，也就是誤差對(duì)基的變化率，即導(dǎo)數(shù)。下面將分別求出輸出層、池采樣層和卷積層的神經(jīng)元的靈敏度。

（1）輸出層的靈敏度

對(duì)于誤差函數(shù)式（6）來(lái)說(shuō)，輸出層神經(jīng)元的靈敏度可表示為：

在前向傳播過(guò)程中，得到網(wǎng)絡(luò)的實(shí)際輸出，進(jìn)而求出實(shí)際輸出與目標(biāo)輸出之間的誤差；在反向傳播過(guò)程中，利用誤差反向傳播，采用式（17）~式（20）來(lái)調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，極小化誤差；這樣，前向傳播和反向傳播兩個(gè)過(guò)程反復(fù)交替，直到達(dá)到收斂的要求為止。

2 深層卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別方法

2.1 應(yīng)用原理

交通標(biāo)志是一種人為設(shè)計(jì)的具有特殊顏色（如紅、黃、白、藍(lán)、黑等）和特殊形狀或圖形的公共標(biāo)志。我國(guó)的交通標(biāo)志主要有警告、禁令、指示和指路等類型，一般采用顏色來(lái)區(qū)分不同的類型，用形狀或圖形來(lái)標(biāo)示具體的信息。從交通標(biāo)志設(shè)計(jì)的角度來(lái)看，屬于不同類型（不同顏色）的交通標(biāo)志在形狀或圖形上有較大的差異；屬于相同類型（相同顏色）的標(biāo)志中同類的指示信息標(biāo)志在形狀或圖形上比較接近，如警告標(biāo)志中的平面交叉路口標(biāo)志等。因此，從機(jī)器視覺的角度來(lái)分析，同類型中同類指示信息的標(biāo)志之間會(huì)比不同類型的標(biāo)志之間更易引起識(shí)別錯(cuò)誤。換句話說(shuō)，相比于顏色，形狀或圖形是正確識(shí)別交通標(biāo)志的關(guān)鍵因素。

因此，在應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別交通標(biāo)志時(shí)，從提高算法效率和降低錯(cuò)誤率綜合考慮，將交通標(biāo)志轉(zhuǎn)換為灰度圖像并作二值化處理后作為卷積神經(jīng)網(wǎng)絡(luò)的輸入圖像信息。圖2給出了應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別交通標(biāo)志的原理圖。該網(wǎng)絡(luò)采用了6層交替的卷積層和池采樣層來(lái)逐層提取交通標(biāo)志的特征，形成的特征矢量由一個(gè)全連接的輸出層進(jìn)行識(shí)別。圖中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分別表示卷積層L1,L3,…,Ln - 1 的卷積核；Input表示輸入的交通標(biāo)志圖像；

Pool表示每個(gè)池采樣層的采樣池；map表示逐層提取的特征子圖；Y 是最終的全連接輸出。

交通標(biāo)志識(shí)別的判別準(zhǔn)則為：對(duì)于輸入交通標(biāo)志圖像Input，網(wǎng)絡(luò)的輸出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，則Input ∈ j，即判定輸入的交通標(biāo)志圖像Input為第j 類交通標(biāo)志。

2.2 交通標(biāo)志識(shí)別的基本步驟

深層神經(jīng)網(wǎng)絡(luò)識(shí)別交通標(biāo)志主要包括交通標(biāo)志的訓(xùn)練與識(shí)別，所以將交通標(biāo)志識(shí)別歸納為以下4個(gè)步驟：（1） 圖像預(yù)處理：利用公式Gray= 0.299R +0.587G + 0.114B 將彩色交通標(biāo)志圖像轉(zhuǎn)換為灰度圖像，再利用鄰近插值法將交通標(biāo)志圖像規(guī)格化，最后利用最大類間方差將交通標(biāo)志圖像二值化。

（2）網(wǎng)絡(luò)權(quán)值和閾值的初始化：利用隨機(jī)分布函數(shù)將權(quán)值W 初始化為-1~1之間的隨機(jī)數(shù)；而將閾值b 初始化為0。

（3）網(wǎng)絡(luò)的訓(xùn)練：利用經(jīng)過(guò)預(yù)處理的交通標(biāo)志圖像構(gòu)成訓(xùn)練集，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過(guò)網(wǎng)絡(luò)前向傳播和反向傳播的反復(fù)交替處理，直到滿足識(shí)別收斂條件或達(dá)到要求的訓(xùn)練次數(shù)為止。

（4）交通標(biāo)志的識(shí)別：將實(shí)際采集的交通標(biāo)志圖像經(jīng)過(guò)預(yù)處理后，送入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行交通標(biāo)志特征的提取，然后通過(guò)一個(gè)全連接的網(wǎng)絡(luò)進(jìn)行特征分類與識(shí)別，得到識(shí)別結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)主要選取了我國(guó)道路交通標(biāo)志的警告標(biāo)志、指示標(biāo)志和禁令標(biāo)志三類中較常見的50幅圖像。考慮到在實(shí)際道路中采集到的交通標(biāo)志圖像會(huì)含有噪聲和出現(xiàn)幾何失真以及背景干擾等現(xiàn)象，因此在構(gòu)造網(wǎng)絡(luò)訓(xùn)練集時(shí)，除了理想的交通標(biāo)志以外，還增加了加入高斯噪聲、經(jīng)過(guò)位移、旋轉(zhuǎn)和縮放處理和實(shí)際采集到的交通標(biāo)志圖像，因此最終的訓(xùn)練樣本為72個(gè)。其中，加入的高斯噪聲為均值為0，方差分別為0.1，0.2，0.3，圖像的位移、旋轉(zhuǎn)、縮放的參數(shù)分別隨機(jī)的分布在±10，±5°，0.9~1.1的范圍內(nèi)。圖3給出了訓(xùn)練集中的交通標(biāo)志圖像的示例。圖4是在實(shí)際道路中采集的交通標(biāo)志圖像構(gòu)成的測(cè)試集的示例。

在實(shí)驗(yàn)中構(gòu)造了一個(gè)輸入為48×48個(gè)神經(jīng)元、輸出為50 個(gè)神經(jīng)元的9 層網(wǎng)絡(luò)。網(wǎng)絡(luò)的輸入是像素為48 × 48 的規(guī)格化的交通標(biāo)志圖像，輸出對(duì)應(yīng)于上述的50種交通標(biāo)志的判別結(jié)果。網(wǎng)絡(luò)的激活函數(shù)采用S型函數(shù)，如式（2）所示，其輸出范圍限制在0~1之間。

圖6是交通標(biāo)志的訓(xùn)練總誤差EN 曲線。在訓(xùn)練開始的1 500次，誤差能迅速地下降，在迭代2 000次以后是一個(gè)平穩(wěn)的收斂過(guò)程，當(dāng)?shù)?0萬(wàn)次時(shí)，總誤差EN可以達(dá)到0.188 2。

在交通標(biāo)志的測(cè)試實(shí)驗(yàn)中，為了全面檢驗(yàn)卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別性能，分別針對(duì)理想的交通標(biāo)志，加入高斯噪聲、經(jīng)過(guò)位移、旋轉(zhuǎn)和比例縮放以及采集的交通標(biāo)志圖像進(jìn)行實(shí)驗(yàn)，將以上測(cè)試樣本分別送入到網(wǎng)絡(luò)中識(shí)別，表2給出了測(cè)試實(shí)驗(yàn)結(jié)果。

綜合分析上述實(shí)驗(yàn)結(jié)果，可以得到以下結(jié)論：（1）在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)過(guò)程中，整個(gè)網(wǎng)絡(luò)的誤差曲線快速平穩(wěn)的下降，體現(xiàn)出卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)具有良好的收斂性。

（2）經(jīng)逐層卷積和池采樣所提取的特征具有比例縮放和旋轉(zhuǎn)不變性，因此對(duì)于旋轉(zhuǎn)和比例縮放后的交通標(biāo)志能達(dá)到100%的識(shí)別率。

（3）與傳統(tǒng)的BP網(wǎng)絡(luò)識(shí)別方法[11]相比較，卷積神經(jīng)網(wǎng)絡(luò)能夠達(dá)到更深的學(xué)習(xí)深度，即在交通標(biāo)志識(shí)別時(shí)能夠得到更高的所屬類別概率（更接近于1），識(shí)別效果更好。

（4）卷積神經(jīng)網(wǎng)絡(luò)對(duì)實(shí)際采集的交通標(biāo)志圖像的識(shí)別率尚不能達(dá)到令人滿意的結(jié)果，主要原因是實(shí)際道路中采集的交通標(biāo)志圖像中存在著較嚴(yán)重的背景干擾，解決的辦法是增加實(shí)際采集的交通標(biāo)志訓(xùn)練樣本數(shù)，通過(guò)網(wǎng)絡(luò)的深度學(xué)習(xí)，提高網(wǎng)絡(luò)的識(shí)別率和魯棒性。

4 結(jié)論

本文將深層卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于道路交通標(biāo)志的識(shí)別，利用卷積神經(jīng)網(wǎng)絡(luò)的深層結(jié)構(gòu)來(lái)模仿人腦感知視覺信號(hào)的機(jī)制，自動(dòng)地提取交通標(biāo)志圖像的視覺特征并進(jìn)行分類識(shí)別。實(shí)驗(yàn)表明，應(yīng)用深層卷積神經(jīng)網(wǎng)絡(luò)識(shí)別交通標(biāo)志取得了良好的識(shí)別效果。

在具體實(shí)現(xiàn)中，從我國(guó)交通標(biāo)志的設(shè)計(jì)特點(diǎn)考慮，本文將經(jīng)過(guò)預(yù)處理二值化的圖像作為網(wǎng)絡(luò)的輸入，主要是利用了交通標(biāo)志的形狀信息，而基本略去了顏色信息，其優(yōu)點(diǎn)是在保證識(shí)別率的基礎(chǔ)上，可以簡(jiǎn)化網(wǎng)絡(luò)的結(jié)構(gòu)，降低網(wǎng)絡(luò)的計(jì)算量。在實(shí)際道路交通標(biāo)志識(shí)別中，將形狀信息和顏色信息相結(jié)合，以進(jìn)一步提高識(shí)別率和對(duì)道路環(huán)境的魯棒性，是值得進(jìn)一步研究的內(nèi)容。

此外，本文的研究沒有涉及到道路交通標(biāo)志的動(dòng)態(tài)檢測(cè)，這也是今后可以進(jìn)一步研究的內(nèi)容。

參考文獻(xiàn)

[1] 劉平華，李建民，胡曉林，等.動(dòng)態(tài)場(chǎng)景下的交通標(biāo)識(shí)檢測(cè)與識(shí)別研究進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2013，18（5）：493?503.

[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.

[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.

[4] 中國(guó)計(jì)算機(jī)學(xué)會(huì).深度學(xué)習(xí)：推進(jìn)人工智能夢(mèng)想[EB/OL].[2013?06?10].http：//ccg.org.cn.

[5] 鄭胤，陳權(quán)崎，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2014，19（2）：175?184.

[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.

[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.

[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.

[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.

[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.

[11] 楊斐，王坤明，馬欣，等.應(yīng)用BP神經(jīng)網(wǎng)絡(luò)分類器識(shí)別交通標(biāo)志[J].計(jì)算機(jī)工程，2003，29（10）：120?121.

[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.

[13] 周開利，康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其Matlab 仿真設(shè)計(jì)[M].北京：清華大學(xué)出版社，2005.

[14] 孫志軍，薛磊，許陽(yáng)明，等.深度學(xué)習(xí)研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2012，29（8）：2806?2810.

[15] 劉建偉，劉媛，羅雄麟.深度學(xué)習(xí)研究進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究，2014（7）：1921?1930.

第7篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

關(guān)鍵詞：棉紡設(shè)備；運(yùn)行狀態(tài)；BP神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）04-0824-05

紡織行業(yè)十分重視各項(xiàng)基礎(chǔ)管理，其中棉紡設(shè)備的管理是各項(xiàng)生產(chǎn)管理的基礎(chǔ)。棉紡設(shè)備的使用好壞直接影響企業(yè)生產(chǎn)過(guò)程中的生產(chǎn)效率、產(chǎn)品的質(zhì)量、產(chǎn)品的產(chǎn)量和生產(chǎn)成本的消耗，成為影響紡織企業(yè)經(jīng)濟(jì)效益提升的很重要的因素。因此，正確的對(duì)棉紡設(shè)備的運(yùn)行狀態(tài)進(jìn)行評(píng)估，從而制定更加合理的檢修計(jì)劃，就顯得尤為重要[1]。

目前，企業(yè)的定期大、小平車管理制度體現(xiàn)了設(shè)備檢修中預(yù)防為主的思想，它相對(duì)于那種事后檢修策略是進(jìn)步的。但這種檢修管理制度由于沒有考慮各類設(shè)備初始狀態(tài)的差異性，以及設(shè)備在不同環(huán)境下運(yùn)行狀態(tài)的變化，因而既在理論上有缺陷，又在實(shí)際中有盲目性。

隨著科學(xué)技術(shù)的進(jìn)步和發(fā)展，新工藝與新產(chǎn)品的不斷涌現(xiàn)，中外技術(shù)的不斷交流，棉紡設(shè)備的質(zhì)量得到很大提高，棉紡設(shè)備已有了本質(zhì)的飛躍。機(jī)電一體化、半自動(dòng)、全自動(dòng)棉紡設(shè)備大量使用，新技術(shù)、新成果不斷應(yīng)用，設(shè)備的運(yùn)行可靠性大大提高了；因此，紡織設(shè)備的維護(hù)已出現(xiàn)了新問題。如果繼續(xù)按大、小平車檢修管理制度所規(guī)定的周期對(duì)設(shè)備進(jìn)行頻繁的檢修，勢(shì)必要大幅度增加維修人員和檢修工作量，增加企業(yè)生產(chǎn)和管理成本。因此，需要一個(gè)更好的對(duì)設(shè)備運(yùn)行狀態(tài)做一個(gè)綜合評(píng)估的預(yù)測(cè)評(píng)估，來(lái)指導(dǎo)設(shè)備的大小平、部分保全等的選擇[2]。

我們根據(jù)紡織企業(yè)的特點(diǎn)和某企業(yè)的實(shí)際情況，利用基于動(dòng)量因子的BP神經(jīng)網(wǎng)絡(luò)模型，確立一個(gè)新的評(píng)估棉紡設(shè)備運(yùn)行狀態(tài)的評(píng)估標(biāo)準(zhǔn)，為該企業(yè)棉紡設(shè)備的綜合管理提供一個(gè)重要的參考依據(jù)。

1 設(shè)備運(yùn)行狀態(tài)預(yù)測(cè)方法的確定

設(shè)備運(yùn)行狀態(tài)預(yù)測(cè)模型是一個(gè)復(fù)雜的非線性模型，影響設(shè)備運(yùn)行狀態(tài)的因素也比較多，且各個(gè)因素之間會(huì)存在不同程度的耦合關(guān)系。BP神經(jīng)元網(wǎng)絡(luò)對(duì)于非線性模型具有模型優(yōu)化的能力，所以通過(guò)使用BP神經(jīng)網(wǎng)絡(luò)模型來(lái)對(duì)設(shè)備運(yùn)行狀態(tài)進(jìn)行預(yù)測(cè)比較可行[3]。

BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。

利用BP神經(jīng)網(wǎng)絡(luò)模型解決設(shè)備的運(yùn)行狀態(tài)預(yù)測(cè)問題的流程大致為：經(jīng)過(guò)前期的資料調(diào)研，確定影響設(shè)備運(yùn)行狀態(tài)的關(guān)鍵因素（特征值），然后采集這些關(guān)鍵因素的數(shù)據(jù)，并進(jìn)行數(shù)據(jù)處理，從中提取出樣本數(shù)據(jù)，建立合適的神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練和學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，最終實(shí)現(xiàn)預(yù)測(cè)設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)的功能。預(yù)測(cè)流程圖如圖1所示。

2 BP神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)設(shè)計(jì)

根據(jù)紡織設(shè)備的運(yùn)維特點(diǎn)，其中以某一類設(shè)備（如細(xì)紗機(jī)）的某一種相同型號(hào)（如FA506）為例，分別從技術(shù)性指標(biāo)、經(jīng)濟(jì)性指標(biāo)、環(huán)境性指標(biāo)、安全健康指標(biāo)等方面考慮，可以選取以下幾個(gè)特征參數(shù)：設(shè)備殘值、月折舊額、月產(chǎn)量、單位產(chǎn)品成本、單位產(chǎn)品維護(hù)費(fèi)用、能源利用率、噪聲、設(shè)備安全性等來(lái)表示設(shè)備的運(yùn)行狀態(tài)特點(diǎn)，即作為網(wǎng)絡(luò)的輸入。

在所選輸入?yún)?shù)中，設(shè)備殘值指的是設(shè)備現(xiàn)有的剩余價(jià)值，且設(shè)備殘值越高，對(duì)應(yīng)的設(shè)備運(yùn)行狀態(tài)一般也越好；月折舊額指的是設(shè)備每月折損的價(jià)值，月折舊額越低，對(duì)應(yīng)的設(shè)備運(yùn)行狀態(tài)一般越好；月產(chǎn)量指的是該臺(tái)設(shè)備每月實(shí)際生產(chǎn)的合格產(chǎn)品數(shù)量，產(chǎn)量越高，說(shuō)明設(shè)備的生產(chǎn)能力越強(qiáng)，運(yùn)行狀態(tài)一般越好；單位產(chǎn)品成本指的是設(shè)備生產(chǎn)出來(lái)單位產(chǎn)品所需要的生產(chǎn)費(fèi)用，所需費(fèi)用越少，成本越低，設(shè)備運(yùn)行狀態(tài)一般越好；單位產(chǎn)品維修費(fèi)用指的是生產(chǎn)單位產(chǎn)品所需要的維修費(fèi)用，所需費(fèi)用越少，則說(shuō)明設(shè)備運(yùn)行狀態(tài)一般越好；能源利用率主要指對(duì)能源的利用效率，利用效率越高，則說(shuō)明設(shè)備運(yùn)行狀態(tài)一般越好；噪聲主要指設(shè)備運(yùn)行生產(chǎn)過(guò)程中的聒噪程度，噪聲越低，工作環(huán)境越好，設(shè)備運(yùn)行情況一般越好；設(shè)備安全性主要指設(shè)備運(yùn)行操作時(shí)的安全指數(shù)，安全指數(shù)越高，越有利于設(shè)備的正常運(yùn)行，設(shè)備的運(yùn)行狀態(tài)才越好。

根據(jù)紡織設(shè)備的實(shí)際情況，把設(shè)備運(yùn)行狀態(tài)作為評(píng)定運(yùn)行設(shè)備優(yōu)劣標(biāo)準(zhǔn)的網(wǎng)絡(luò)的輸出，即優(yōu)秀、良好、一般、較差四個(gè)標(biāo)準(zhǔn)，分別用3、2、1、0表示。

由上述分析可得，網(wǎng)絡(luò)輸入為8個(gè)，輸出為1個(gè)。由于網(wǎng)絡(luò)層次太多會(huì)影響網(wǎng)絡(luò)收斂速度，本例選擇三層網(wǎng)絡(luò)結(jié)構(gòu)，即只有一層隱含層，就能夠合理的解決本預(yù)測(cè)問題。隱含層的神經(jīng)元個(gè)數(shù)不是固定的，常用的經(jīng)驗(yàn)公式為[I=M+P+A]（M、I、P分別表示輸入層、隱含層、輸出層的神經(jīng)元個(gè)數(shù)，A為1到10之間的常數(shù)）[4]。經(jīng)過(guò)實(shí)際訓(xùn)練的檢驗(yàn)和不斷的對(duì)隱含層神經(jīng)元個(gè)數(shù)的調(diào)整，可最終確定隱含層節(jié)點(diǎn)的個(gè)數(shù)為5。

大致的網(wǎng)絡(luò)模型圖如圖2所示，圖中M=8，I=5，P=1。

根據(jù)確定的網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)動(dòng)量梯度下降法進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練實(shí)驗(yàn)，對(duì)不同的學(xué)習(xí)速率和動(dòng)量因子分別進(jìn)行取值調(diào)整，進(jìn)而得到不同的誤差精度和收斂速度的比較，最終可確定學(xué)習(xí)速率η=0.04，動(dòng)量因子α=0.88。

3 基于動(dòng)量因子的BP神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練

常用的三層BP神經(jīng)網(wǎng)絡(luò)由以下三部分構(gòu)成：一個(gè)輸入層、一個(gè)隱含層和一個(gè)輸出層。層內(nèi)神經(jīng)元之間沒有連接，層與層之間的神經(jīng)元由可以通過(guò)學(xué)習(xí)修正的權(quán)值（Weight）互連。

設(shè)BP網(wǎng)絡(luò)的輸入層為x，有M個(gè)輸入信號(hào)；隱含層為y，有I個(gè)神經(jīng)元；輸出層為z，有P個(gè)輸出神經(jīng)元。其中，

各個(gè)神經(jīng)網(wǎng)絡(luò)層的輸出由輸入和轉(zhuǎn)移函數(shù)決定。BP神經(jīng)網(wǎng)絡(luò)通常采用Sigmoid函數(shù)作為轉(zhuǎn)移函數(shù)。Sigmoid函數(shù)的數(shù)學(xué)表達(dá)式為：[f（x）=11+e-x]。

BP網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練方法有很多種，如標(biāo)準(zhǔn)誤差反向傳播算法、累積誤差校正算法、Sigmoid函數(shù)輸出限幅的BP算法、增加動(dòng)量項(xiàng)的BP算法、學(xué)習(xí)速率自適應(yīng)調(diào)整算法等[5]。其中最常用到的是累積誤差校正算法，其算法步驟可描述如下[6]：

第一步：初始化：賦給權(quán)值W1MI（1）、W2IP（1）及閾值θ、γ各一個(gè)較小的[-1，+1]區(qū)間的隨機(jī)非零值，n=1。

第二步：隨機(jī)選取一個(gè)輸入樣本Xk。

第三步：對(duì)于輸入樣本Xk，前向計(jì)算BP網(wǎng)絡(luò)每層神經(jīng)元的輸入信號(hào)和輸出信號(hào)。設(shè)輸入層的輸入和輸出分別為[ukxm]和[vkxm]，隱含層的輸入和輸出分別為[ukyi]和[vkyi]，輸出層的輸入和輸出分別為[ukzp]和[vkzp]。

輸入層的各個(gè)處理單元對(duì)輸入模式不進(jìn)行處理，即輸入層的輸出與輸入相同：

隱含層各個(gè)神經(jīng)元的凈輸入和輸出分別為：

輸出層各個(gè)神經(jīng)元的凈輸入和實(shí)際輸出分別為：

第四步：由訓(xùn)練樣本的輸出dk和上一步求得的實(shí)際輸出Yk（n），計(jì)算輸出層各個(gè)神經(jīng)元的校正誤差：

輸出層的誤差能量總和可定義為：

隱含層各個(gè)神經(jīng)元的校正誤差：

修正隱含層至輸出層的連接權(quán)值w2ip和輸出層神經(jīng)元的閾值γ，其修正式為：

修正輸入層至隱含層的連接權(quán)值w1mi和輸出層神經(jīng)元的閾值θ，其修正式為：

第五步：隨機(jī)選取下一個(gè)輸入樣本提供給網(wǎng)絡(luò)，返回第三步，直至全部N個(gè)樣本訓(xùn)練完畢。

第六步：判斷網(wǎng)絡(luò)全局誤差[E=k=1NEk]是否滿足精度要求，即[E≤ε]。若滿足，則轉(zhuǎn)到第八步，否則繼續(xù)。

第七步：更新網(wǎng)絡(luò)學(xué)習(xí)次數(shù)，即n=n+1，若學(xué)習(xí)次數(shù)小于規(guī)定的次數(shù)，則返回第二步，否則繼續(xù)。

第八步：結(jié)束，得到最終的閾值和權(quán)值。

不過(guò)，上述的BP算法存在兩個(gè)問題：①由于BP算法的基本思想是基于梯度下降法將各個(gè)權(quán)值和閾值向著減小誤差的方向調(diào)整，并且梯度下降法的原理保證在只有一個(gè)極小值時(shí)才絕對(duì)有效，但在很多時(shí)候誤差曲線有許多的局部極小值。因此，該BP算法可能會(huì)陷入局部極小值。②如果權(quán)值的初始值位于梯度比較小的位置，則必須經(jīng)過(guò)多次調(diào)整權(quán)值來(lái)才有可能最終收斂。所以，該BP學(xué)習(xí)算法的收斂速度可能較慢。

通過(guò)加入動(dòng)量項(xiàng)可以進(jìn)一步改進(jìn)該BP網(wǎng)絡(luò)，從而更加快速準(zhǔn)確的實(shí)現(xiàn)運(yùn)行設(shè)備的狀態(tài)評(píng)估預(yù)測(cè)。其具體步驟就是在計(jì)算權(quán)值修正量的時(shí)候，加入一個(gè)動(dòng)量項(xiàng)，即令

再將上式寫成以t為變量的時(shí)間序列，t由1到n。則上式可看成是w2ip（n）的一階差分方程，即

最終可推得

當(dāng)本次的[?E（t）?w2ip（t）]與前一次同符號(hào)時(shí)，其加權(quán)求和值增大，使得w2ip（n）較大，從而加快了調(diào)節(jié)速度；當(dāng)本次的[?E（t）?w2ip（t）]與前一次符號(hào)相反時(shí)，其加權(quán)求和值變小，w2ip（n）也減小，起到了穩(wěn)定作用。

通過(guò)在BP算法中加入動(dòng)量項(xiàng)，不僅可以微調(diào)權(quán)值的修正量，使得收斂速度加快，也可以使學(xué)習(xí)避免陷入局部最小。

正是由于加入動(dòng)量項(xiàng)的BP神經(jīng)網(wǎng)絡(luò)隨著誤差反向傳播不斷地進(jìn)行修正，不斷提高對(duì)輸入模式識(shí)別的正確率，而且修正速度也加快許多，因此，該BP網(wǎng)絡(luò)模型可以合理地解決該預(yù)測(cè)問題。

4 實(shí)例分析

下面以某棉紡廠近十年來(lái)型號(hào)為FA506的細(xì)紗機(jī)設(shè)備為例，其設(shè)備運(yùn)行狀態(tài)情況及主要影響因素的部分樣本數(shù)據(jù)如表1所示：

狀態(tài)及主要影響因素的部分樣本數(shù)據(jù)

根據(jù)動(dòng)量梯度下降法原理，采用上述的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)速率為0.04，動(dòng)量因子為0.88，使用前190組樣本數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可設(shè)置網(wǎng)絡(luò)全局誤差目標(biāo)值為0.01，最大學(xué)習(xí)次數(shù)為1000次。

網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練完成之后，得到最終的閾值和權(quán)值。采用最后10組樣本數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行診斷，可得到設(shè)備運(yùn)行狀態(tài)的診斷預(yù)測(cè)結(jié)果，再將診斷結(jié)果進(jìn)行乘以3的處理，與期望結(jié)果進(jìn)行比較，如表2所示：

從實(shí)際的預(yù)測(cè)結(jié)果可以看出，期望結(jié)果應(yīng)該為0的數(shù)據(jù)預(yù)測(cè)所得的結(jié)果近似為0，期望結(jié)果應(yīng)該為1的數(shù)據(jù)預(yù)測(cè)所得的結(jié)果近似為1，期望結(jié)果應(yīng)該為2的數(shù)據(jù)預(yù)測(cè)所得的結(jié)果近似為2，期望結(jié)果應(yīng)該為3的數(shù)據(jù)預(yù)測(cè)所得的結(jié)果近似為3。因此，所測(cè)的每組數(shù)據(jù)都符合誤差要求，而且平均誤差約為0.00180556。

從測(cè)試結(jié)果可以看出，基于改進(jìn)動(dòng)量因子的BP神經(jīng)網(wǎng)絡(luò)不但能夠解決棉紡設(shè)備運(yùn)行狀態(tài)預(yù)測(cè)的非線性問題，而且預(yù)測(cè)結(jié)果比較符合要求，預(yù)測(cè)誤差也非常小。因此，該神經(jīng)網(wǎng)絡(luò)模型完全可以滿足設(shè)備運(yùn)行狀態(tài)預(yù)測(cè)的要求。

5 結(jié)論

通過(guò)前面的實(shí)例，我們可以知道，通過(guò)改進(jìn)動(dòng)量因子的BP神經(jīng)網(wǎng)絡(luò)算法來(lái)預(yù)測(cè)棉紡設(shè)備的運(yùn)行狀態(tài)情況，可以彌補(bǔ)傳統(tǒng)方法評(píng)估設(shè)備的不足，實(shí)現(xiàn)設(shè)備運(yùn)行狀態(tài)的智能化評(píng)估，具有很大的實(shí)用價(jià)值。通過(guò)設(shè)計(jì)合適的網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)速率和動(dòng)量因子，得到的BP網(wǎng)絡(luò)可以保證誤差精度和收斂速度。最后，通過(guò)實(shí)驗(yàn)，我們可以對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和診斷。實(shí)驗(yàn)結(jié)果表明：動(dòng)量因子BP神經(jīng)網(wǎng)絡(luò)算法可以為設(shè)備管理者提供一個(gè)智能化的、可靠的評(píng)估設(shè)備運(yùn)行狀態(tài)水平的預(yù)測(cè)途徑，能夠使紡織廠的各項(xiàng)計(jì)劃得到有效、有序的實(shí)施，節(jié)省許多資源。

參考文獻(xiàn)：

[1] Pan Rongchang，Li Haixia Xu Linlan.Experience of Blowing-carding Unit State Maintenance and Management[J].Cotton Textile Technology，2011，3（3）：34-36.

[2] 蔣獻(xiàn)偉，黃民祥，許諾，等.供電設(shè)備檢修計(jì)劃優(yōu)化[J].電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)，2007，19（4）：116-120.

[3] Wikipedia.Artificial neural network[DB/OL].http：///wiki/Artificial_neural_network.

[4] Basheer A，Hajmeer M.Artificial neural networks： fundamentals， computing， design，and application.Neural Computting in Microbiology，2000，12（1）：3-31.

第8篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

Abstract: Cognitive radio technology provides new opportunities and challenges for the development of wireless communication. Intelligence is an important characteristic for cognitive radio, and application of artificial intelligence techniques is key to implement this characteristic. This paper will first provide our own research framework on cognitive radio, second give an overview of application of artificial intelligence to cognitive radio, and last introduce and simulate the application of neural network to cognitive radio.

關(guān)鍵詞： 人工智能；認(rèn)知無(wú)線電；神經(jīng)網(wǎng)絡(luò)

基金項(xiàng)目：國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃（“973”計(jì)劃）項(xiàng)目（2009CB320403）；國(guó)家自然科學(xué)基金資助項(xiàng)目（60832008，60832006）；國(guó)家科技重大專項(xiàng)課題（2009ZX03007-004）。

作者簡(jiǎn)介：柴新代（1964-），男，北京人，本科，高級(jí)工程師，研究方向?yàn)橥ㄐ畔到y(tǒng)工程；董旭（1979-），男，河北景縣人，博士研究生，講師，研究方向?yàn)檎J(rèn)知無(wú)線電。

1 概述

無(wú)線通信技術(shù)的飛速發(fā)展，正在越來(lái)越深刻地影響著人們的生活。與此同時(shí)，無(wú)線通信技術(shù)的發(fā)展也面臨著嚴(yán)峻的考驗(yàn)，一方面頻譜資源的固定分配模式和利用率不均衡制約著無(wú)線通信寬帶化的發(fā)展，另一方面多種空中接口和網(wǎng)絡(luò)協(xié)議并存的局面為無(wú)線網(wǎng)絡(luò)的融合提出了挑戰(zhàn)。1999年Mitola博士提出的“認(rèn)知無(wú)線電（Cognitive Radio）”[1]為解決無(wú)線通信所面臨的問題提供了新的機(jī)遇。因此，認(rèn)知無(wú)線電技術(shù)迅速成為業(yè)界研究的熱點(diǎn)。

認(rèn)知是人類獲取運(yùn)用知識(shí)解決問題的一種抽象，將認(rèn)知運(yùn)用到無(wú)線電技術(shù)，會(huì)提高無(wú)線電系統(tǒng)的智能性，這也是認(rèn)知無(wú)線電技術(shù)區(qū)別于普通軟件無(wú)線電的最大特點(diǎn)。認(rèn)知無(wú)線電技術(shù)通過(guò)實(shí)時(shí)的獲取外部環(huán)境信息，并對(duì)這些信息進(jìn)行分析、學(xué)習(xí)和判斷，得到無(wú)線電知識(shí)，然后根據(jù)這些知識(shí)智能地調(diào)整各種通信參數(shù)，從而最終實(shí)現(xiàn)可靠的通信，并達(dá)到最佳的頻譜利用效率。人工智能技術(shù)為實(shí)現(xiàn)認(rèn)知無(wú)線電的智能性提供了可能，本文將主要圍繞多種人工智能技術(shù)在認(rèn)知無(wú)線電中的應(yīng)用進(jìn)行論述，下面將首先介紹認(rèn)知無(wú)線電智能化的基礎(chǔ)框架――認(rèn)知環(huán)路和認(rèn)知引擎，然后對(duì)幾種人工智能技術(shù)在認(rèn)知無(wú)線電中的應(yīng)用進(jìn)行簡(jiǎn)要介紹，最后將詳細(xì)介紹神經(jīng)網(wǎng)絡(luò)在人工智能中的應(yīng)用，并通過(guò)仿真給出一個(gè)具體的示例。

2 相關(guān)工作

2.1 認(rèn)知環(huán)路 Mitola博士在提出認(rèn)知無(wú)線電概念的同時(shí)提出了OOPDAL（觀察-判斷-計(jì)劃-決策-行動(dòng)-學(xué)習(xí)）認(rèn)知環(huán)路[1]，用以支持其認(rèn)知無(wú)線電架構(gòu)。此外，學(xué)術(shù)界還提出了多種認(rèn)知環(huán)路模型[2,3]，比較著名的有軍事戰(zhàn)略家Boyd提出的OODA（觀察-判斷-決策-行動(dòng)）環(huán)路、IBM為自主計(jì)算提出的MAPE（監(jiān)測(cè)-分析-計(jì)劃-執(zhí)行）環(huán)路、Motorola為自主網(wǎng)絡(luò)提出的FOCALE（基礎(chǔ)-觀察-比較-行動(dòng)-學(xué)習(xí)-擦除）環(huán)路等等。OOPDAL環(huán)路具有完整認(rèn)知功能和清晰的認(rèn)知過(guò)程，是設(shè)計(jì)認(rèn)知無(wú)線電最為理想的環(huán)路模型。本文對(duì)OOPDAL環(huán)路各環(huán)節(jié)進(jìn)行了重新定義，豐富了環(huán)路模型的內(nèi)涵與外延，并在原環(huán)路模型基礎(chǔ)上增加“知識(shí)庫(kù)”，明確表達(dá)了知識(shí)獲取與運(yùn)用的過(guò)程。

如圖1所示，經(jīng)改進(jìn)的OOPDAL認(rèn)知環(huán)路由外環(huán)和內(nèi)環(huán)組成，外環(huán)也稱決策環(huán)。認(rèn)知無(wú)線電首先“感知”無(wú)線域、網(wǎng)絡(luò)域、用戶域、政策域中的數(shù)據(jù)，并對(duì)其建模以明確自身所處態(tài)勢(shì)；“判斷”是對(duì)數(shù)據(jù)的精煉，也即對(duì)感知數(shù)據(jù)進(jìn)行清理、集成和選擇，提取出其中對(duì)決策有貢獻(xiàn)的信息；“計(jì)劃”根據(jù)用戶需求與當(dāng)前環(huán)境生成優(yōu)化目標(biāo)；“決策”根據(jù)優(yōu)化目標(biāo)執(zhí)行優(yōu)化；“行動(dòng)”將決策結(jié)果付諸實(shí)施，使內(nèi)部狀態(tài)和外界環(huán)境發(fā)生變化，這些變化又被重新“感知”，進(jìn)入下一輪循環(huán)。內(nèi)環(huán)又稱學(xué)習(xí)環(huán)，用于從外環(huán)運(yùn)行的歷史經(jīng)驗(yàn)中提取知識(shí)，并存放入知識(shí)庫(kù)以指導(dǎo)決策環(huán)運(yùn)行。

OOPDAL環(huán)路對(duì)知識(shí)的運(yùn)用過(guò)程充分體現(xiàn)了認(rèn)知無(wú)線電的智能性，其中計(jì)劃、學(xué)習(xí)、決策等環(huán)節(jié)更是智能性得以實(shí)現(xiàn)的關(guān)鍵所在，具體的實(shí)現(xiàn)方法則需要借助于人工智能技術(shù)。

2.2 認(rèn)知引擎 認(rèn)知引擎是實(shí)現(xiàn)認(rèn)知環(huán)路功能的技術(shù)手段。但很多認(rèn)知引擎的設(shè)計(jì)是針對(duì)特定方法實(shí)現(xiàn)特定任務(wù)的，本文希望設(shè)計(jì)一種通用的認(rèn)知引擎架構(gòu)，以適應(yīng)認(rèn)知無(wú)線電所面臨的各種應(yīng)用。通用認(rèn)知引擎結(jié)構(gòu)由認(rèn)知核與接口部分組成。認(rèn)知核提供各種豐富的工具，包括知識(shí)表示工具、各種推理機(jī)、學(xué)習(xí)機(jī)、優(yōu)化算法庫(kù)等，為完成認(rèn)知循環(huán)的各環(huán)節(jié)功能提供支持。接口部分包括感知器接口與用戶接口。感知器接口收集各種感知數(shù)據(jù)，并通過(guò)建模系統(tǒng)以機(jī)器可理解的方式表示；用戶接口部分允許用戶調(diào)用認(rèn)知核中各種工具并對(duì)其進(jìn)行流程編排和建模完成專用認(rèn)知引擎的構(gòu)建。另外，可配置無(wú)線網(wǎng)絡(luò)具備動(dòng)態(tài)可配置波形與協(xié)議，以執(zhí)行認(rèn)知引擎的決策。

認(rèn)知核是認(rèn)知引擎的核心，包括多種人工智能工具，如專家系統(tǒng)，案例推理，神經(jīng)網(wǎng)絡(luò)，遺傳算法等，每種人工智能的工具不但可以實(shí)現(xiàn)相應(yīng)的認(rèn)知功能，還可通過(guò)多種不同工具的編排組合實(shí)現(xiàn)認(rèn)知無(wú)線電的各種應(yīng)用，即實(shí)現(xiàn)認(rèn)知引擎的通用性。

3 人工智能技術(shù)概述

如果說(shuō)認(rèn)知核是認(rèn)知引擎的核心，那么人工智能技術(shù)就是認(rèn)知核的核心。人工智能技術(shù)已有比較成熟的理論體系[4]，但將其應(yīng)用到認(rèn)知無(wú)線電還處于探索階段。下面先簡(jiǎn)要介紹幾種人工智能技術(shù)在認(rèn)知無(wú)線電中的應(yīng)用。

3.1 專家系統(tǒng) 專家系統(tǒng)在人工智能技術(shù)領(lǐng)域有著非常成功的應(yīng)用[5]，并能夠很好的與其他人工智能技術(shù)結(jié)合使用，如遺傳算法，人工神經(jīng)網(wǎng)絡(luò)等。專家系統(tǒng)是運(yùn)用知識(shí)和推理過(guò)程來(lái)解決只有專家才能解決的復(fù)雜問題，也就是說(shuō)專家系統(tǒng)是一種模擬專家決策能力的計(jì)算機(jī)系統(tǒng)。專家系統(tǒng)主要包括兩個(gè)部分：知識(shí)庫(kù)和推理機(jī)。知識(shí)庫(kù)用來(lái)存儲(chǔ)專家知識(shí)，推理機(jī)則依據(jù)專家知識(shí)對(duì)已有事實(shí)進(jìn)行推理和決策。認(rèn)知無(wú)線電可以借助專家系統(tǒng)完成推理決策功能。認(rèn)知無(wú)線電可以通過(guò)主動(dòng)學(xué)習(xí)或“人在環(huán)中”的方式獲取無(wú)線電知識(shí)并存儲(chǔ)到知識(shí)庫(kù)中，然后根據(jù)外部無(wú)線環(huán)境和用戶需求的變化，到知識(shí)庫(kù)中查詢相應(yīng)的先驗(yàn)知識(shí)，并通過(guò)推理機(jī)進(jìn)行決策，從而調(diào)整無(wú)線電的工作參數(shù)以適應(yīng)環(huán)境和需求的變化。CLIPS是目前比較成熟的專家系統(tǒng)工具，已有學(xué)者將基于CLIPS的專家系統(tǒng)應(yīng)用到認(rèn)知無(wú)線電的研究中[6]。

3.2 案例推理 案例推理作為一種人工智能技術(shù)致力于從以往的經(jīng)歷或者案例當(dāng)中得到新問題的解決方案?；诎咐南到y(tǒng)通過(guò)在案例庫(kù)查找與需要解決的問題相似度最大的案例來(lái)找到問題的解決的方法，并將找到的案例與當(dāng)前的場(chǎng)景進(jìn)行匹配，這種匹配實(shí)際上就是一種最優(yōu)化的過(guò)程。而最初找到的案例是為了節(jié)省優(yōu)化的時(shí)間，通過(guò)優(yōu)化的新的解決方案，將被作為新的案例存儲(chǔ)到案例庫(kù)中。認(rèn)知無(wú)線電可以根據(jù)無(wú)線環(huán)境的變化調(diào)整工作參數(shù)，不同的環(huán)境和工作參數(shù)可以作為案例存儲(chǔ)到案例庫(kù)中[7]。當(dāng)環(huán)境發(fā)生變化，認(rèn)知無(wú)線電可以在案例庫(kù)中查找與當(dāng)前環(huán)境最為相似的一個(gè)案例，然后用該案例與當(dāng)前環(huán)境進(jìn)行匹配，優(yōu)化工作的參數(shù)，并把當(dāng)前環(huán)境和優(yōu)化的參數(shù)作為新的案例存儲(chǔ)到案例庫(kù)中。Soar作為一種人工智能系統(tǒng)的開發(fā)工具，可以實(shí)現(xiàn)案例推理功能，并可以基于案例進(jìn)行學(xué)習(xí)，國(guó)內(nèi)已有學(xué)者基于Soar和GUN Radio軟件無(wú)線電平臺(tái)開發(fā)出認(rèn)知無(wú)線電原型系統(tǒng)。

3.3 遺傳算法 遺傳算法借鑒生物進(jìn)化和遺傳的生物學(xué)原理，可用于解決目標(biāo)優(yōu)化問題，即找到一組參數(shù)（基因）使得目標(biāo)函數(shù)最大化。其基本原理是根據(jù)求解問題的目標(biāo)構(gòu)造適值函數(shù)，使初始種群通過(guò)雜交和變異不斷選擇好的適值進(jìn)行繁殖，并最終得到最優(yōu)解。遺傳算法同樣可以作為認(rèn)知無(wú)線電的決策方法[6,8]：可以把無(wú)線電類比為一個(gè)生物系統(tǒng)，將無(wú)線電的特征定義為一個(gè)染色體，染色體的每個(gè)基因?qū)?yīng)無(wú)線電一個(gè)可變的參量，比如發(fā)射功率、頻率、帶寬、糾錯(cuò)編碼方法、調(diào)制算法和幀結(jié)構(gòu)等等，這樣就可以通過(guò)遺傳算法的進(jìn)化來(lái)得到滿足用戶需求和適應(yīng)環(huán)境變化的系統(tǒng)配置參數(shù)。

4 神經(jīng)網(wǎng)絡(luò)在認(rèn)知無(wú)線電中的應(yīng)用

對(duì)于人工神經(jīng)網(wǎng)絡(luò)的研究源于對(duì)人類大腦思維過(guò)程的模擬，在很多領(lǐng)域，神經(jīng)網(wǎng)絡(luò)已經(jīng)有了廣泛的應(yīng)用。下面將詳細(xì)介紹神經(jīng)網(wǎng)絡(luò)在認(rèn)知無(wú)線電中的應(yīng)用。

4.1 神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 1943年神經(jīng)物理學(xué)家W.McCulloch和邏輯學(xué)家W.Pits在對(duì)人腦的研究中提出了人工神經(jīng)網(wǎng)絡(luò)。目前人工神經(jīng)網(wǎng)絡(luò)作為一種人工智能技術(shù)主要基于統(tǒng)計(jì)評(píng)估、優(yōu)化和控制理論。人工神經(jīng)網(wǎng)絡(luò)由用以模擬生物神經(jīng)元的大量相連的人工神經(jīng)元組成，主要用于解決人工智能領(lǐng)域的一些復(fù)雜問題，比如機(jī)器學(xué)習(xí)。根據(jù)網(wǎng)絡(luò)結(jié)果和訓(xùn)練方法的不同，人工神經(jīng)網(wǎng)絡(luò)可以分為多種類型，以適應(yīng)多種的應(yīng)用需求[7]。多層線性感知器網(wǎng)絡(luò)（MLPN）：MLPN由多層神經(jīng)元構(gòu)成，每一個(gè)神經(jīng)元都是上一層神經(jīng)元輸出的線性組合。一般這種線性組合的權(quán)值在訓(xùn)練前是隨機(jī)生成的，并且可以隨著訓(xùn)練不斷的更新。更新的方法有多種，如后向傳播（BP）、遺傳算法等。其訓(xùn)練方法的性能將由其網(wǎng)絡(luò)規(guī)模和應(yīng)用場(chǎng)景決定。非線性感知器網(wǎng)絡(luò)（NPN）：NPN是利用對(duì)每個(gè)神經(jīng)元的輸入平方或兩兩相乘的方法將非線性引入神經(jīng)網(wǎng)絡(luò)使其可以對(duì)動(dòng)態(tài)變化的訓(xùn)練數(shù)據(jù)進(jìn)行更好的擬合。但NPN的網(wǎng)絡(luò)結(jié)構(gòu)需要根據(jù)訓(xùn)練數(shù)據(jù)進(jìn)行調(diào)整，另外如果采用BP方法進(jìn)行訓(xùn)練會(huì)使網(wǎng)絡(luò)收斂緩慢而導(dǎo)致處理時(shí)間過(guò)長(zhǎng)。徑向基函數(shù)網(wǎng)絡(luò)（RBFN）：RBFN和NPN類似，不同的只是其非線性的引入是在隱含層利用徑向基函數(shù)實(shí)現(xiàn)非線性映射，這可以防止網(wǎng)絡(luò)收斂到局部最小值。

4.2 應(yīng)用舉例 由于神經(jīng)網(wǎng)絡(luò)可以動(dòng)態(tài)的自適應(yīng)和實(shí)時(shí)的訓(xùn)練，因此可以對(duì)系統(tǒng)的各種模式、參數(shù)、屬性等進(jìn)行“學(xué)習(xí)”，并“記住”這些事實(shí)，當(dāng)系統(tǒng)有了新的輸入和輸出時(shí)，可以進(jìn)行實(shí)時(shí)的訓(xùn)練來(lái)記憶新的事實(shí)。這正符合了認(rèn)知無(wú)線電認(rèn)知功能的需求，因此神經(jīng)網(wǎng)絡(luò)在認(rèn)知無(wú)線電中有著廣泛的應(yīng)用前景。下面就列舉一些神經(jīng)網(wǎng)絡(luò)在認(rèn)知無(wú)線電中的應(yīng)用[9-12]。神經(jīng)網(wǎng)絡(luò)可以用于認(rèn)知無(wú)線電的頻譜感知，例如利用基于神經(jīng)網(wǎng)絡(luò)的分類器可以根據(jù)信號(hào)的循環(huán)平穩(wěn)特性或者頻譜特性等對(duì)信號(hào)進(jìn)行分類。神經(jīng)網(wǎng)絡(luò)還可用于無(wú)線電參數(shù)的自適應(yīng)決策和調(diào)整，神經(jīng)網(wǎng)絡(luò)可以根據(jù)當(dāng)前信道質(zhì)量和用戶需求等所確定的優(yōu)化目標(biāo)選擇無(wú)線電參數(shù)。另外神經(jīng)網(wǎng)絡(luò)還可以對(duì)無(wú)線電系統(tǒng)的各種性能進(jìn)行預(yù)測(cè)，神經(jīng)網(wǎng)絡(luò)可以記憶不同無(wú)線環(huán)境不同無(wú)線參數(shù)所達(dá)到的系統(tǒng)性能，比如誤碼率、吞吐量、時(shí)延等等，從而對(duì)未來(lái)可能產(chǎn)生的系統(tǒng)性能進(jìn)行預(yù)測(cè)，進(jìn)而對(duì)各種無(wú)線參數(shù)進(jìn)行優(yōu)化。

5 仿真及分析

由于無(wú)線環(huán)境的開放性，無(wú)線系統(tǒng)大都是非線性系統(tǒng)，因此神經(jīng)網(wǎng)絡(luò)用于認(rèn)知無(wú)線電也應(yīng)采用非線性模型。非線性感知器網(wǎng)絡(luò)（NPN）可以完成認(rèn)知無(wú)線電的學(xué)習(xí)功能，從而對(duì)各種系統(tǒng)性能進(jìn)行預(yù)測(cè)，下面就通過(guò)一個(gè)具體例子來(lái)仿真基于NPN的誤碼率性能預(yù)測(cè)。

5.1 仿真模型 NPN由三層節(jié)點(diǎn)構(gòu)成：輸入層、隱含層和輸出層。隱含層通常只有一層神經(jīng)元，本文在此基礎(chǔ)上擴(kuò)展了隱含層的層數(shù)，從而擴(kuò)大了神經(jīng)網(wǎng)絡(luò)的規(guī)模，使其具有更好的學(xué)習(xí)效果。具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，每個(gè)節(jié)點(diǎn)都與下一層的所有節(jié)點(diǎn)唯一相連，除了輸入層節(jié)點(diǎn)，其他各層節(jié)點(diǎn)稱為神經(jīng)元，具有一個(gè)非線性的激活函數(shù)，以實(shí)現(xiàn)對(duì)非線性系統(tǒng)的擬合。本文將采用最為常用的非線性激活函數(shù)――S函數(shù)，即：f

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練將采用BP方法，具體算法如下：

③根據(jù)RMS誤差決定是否調(diào)整權(quán)值，直到RMS誤差或者迭代次數(shù)達(dá)到停止要求。

5.2 仿真場(chǎng)景 仿真場(chǎng)景的設(shè)置將根據(jù)上面提出通用認(rèn)知引擎架構(gòu)進(jìn)行編排。首先認(rèn)知引擎要收集各種數(shù)據(jù)。WiMax可以根據(jù)信道質(zhì)量調(diào)整其調(diào)制編碼模式等無(wú)線電參數(shù)，因此將作為通用認(rèn)知引擎架構(gòu)中的可重配置的無(wú)線電平臺(tái)將系統(tǒng)的誤碼率性能實(shí)時(shí)上報(bào)給認(rèn)知引擎；信噪比作為無(wú)線環(huán)境的表征可通過(guò)感知器進(jìn)行收集；編碼速率作為用戶對(duì)業(yè)務(wù)的需求可通過(guò)用戶接口上報(bào)給認(rèn)知引擎。然后認(rèn)知引擎內(nèi)基于NPN的學(xué)習(xí)機(jī)就可以對(duì)這些數(shù)據(jù)進(jìn)行訓(xùn)練了，訓(xùn)練的方法如上節(jié)所述。最后訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)就可以根據(jù)無(wú)線環(huán)境和用戶需求對(duì)系統(tǒng)的誤碼率進(jìn)行實(shí)時(shí)的預(yù)測(cè)，從而調(diào)整認(rèn)知無(wú)線電的各種操作參數(shù)。

5.3 仿真結(jié)果及分析 由于對(duì)神經(jīng)網(wǎng)絡(luò)模型的隱含層進(jìn)行了擴(kuò)展，首先驗(yàn)證一下改進(jìn)的模型性能是否有所提升。仿真結(jié)果如圖3所示，分別仿真了具有2層、3層和4層神經(jīng)元的NPN的收斂性能。其中2層模型是沒有經(jīng)過(guò)改進(jìn)的，其收斂速度最快，但RMS誤差較三層模型差；3層模型雖然收斂速度稍慢，但收斂的RMS誤差最低；4層模型的網(wǎng)絡(luò)規(guī)模最大，因此收斂速度最慢，但其RMS誤差收斂的并不是最低，這是由于神經(jīng)網(wǎng)絡(luò)的規(guī)模應(yīng)該與訓(xùn)練數(shù)據(jù)的規(guī)模相適應(yīng)，過(guò)大的網(wǎng)絡(luò)規(guī)模反而不會(huì)得到很好的收斂性能。折中考慮，在后續(xù)誤碼率預(yù)測(cè)仿真中，將采用3層神經(jīng)元模型的NPN對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練。

如圖4所示，利用3層神經(jīng)元模型分別對(duì)WiMax場(chǎng)景下的64QAM、16QAM、QPSK和BPSK的誤碼率性能進(jìn)行了預(yù)測(cè)。從預(yù)測(cè)結(jié)果和實(shí)際的仿真結(jié)果的比較可以顯示，隨著調(diào)制模式的升高，預(yù)測(cè)的性能將越來(lái)越好。

6 結(jié)束語(yǔ)

本文主要介紹了人工智能技術(shù)在認(rèn)知無(wú)線電中的應(yīng)用，并通過(guò)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行舉例，從仿真的結(jié)果可以看出神經(jīng)網(wǎng)絡(luò)在認(rèn)知無(wú)線電中應(yīng)用的可能性。人工智能技術(shù)在認(rèn)知無(wú)線電領(lǐng)域的應(yīng)用還有著廣闊的研究前景，應(yīng)該積極探索更多的人工智能技術(shù)在認(rèn)知無(wú)線電中應(yīng)用。但也并非所有的人工智能技術(shù)都適用于認(rèn)知無(wú)線電的開發(fā)和應(yīng)用，應(yīng)在研究中有所選擇把握方向。不同的應(yīng)用場(chǎng)景也對(duì)人工智能技術(shù)提出了不同的需求，找到適用于相應(yīng)場(chǎng)景的人工智能技術(shù)也很重要。未來(lái)的工作應(yīng)更多的考慮一些實(shí)際的應(yīng)用，讓無(wú)線通信系統(tǒng)可以真正的像人一樣思考。

參考文獻(xiàn)：

[1]J.Mitola Ⅲ."Cognitive radio: Making software radios more personal"，IEEE Personal Communications，vol.6，no.4，pp.13-18，1999.

[2]S.Haykin."Cognitive radio：Brain-empowered wireless communications"，IEEE Journal on Selected Areas in Communications，vol.23，no.2，pp.201-220，2005.

[3]T.W.Rondeau，C.W.Bostian，D.Maldonado，A.Ferguson，S.Ball，B.Le，and S.Midki，“Cognitive radios in public safety and spectrum management”，Telecommunications Policy and Research Conference，vol.33，2005.

[4]George F.Luger，“Artificial Intelligence Structures and Strategies for Complex Problem Solving Fifth Edition”，Pearson Education Limited，2005.

[5]Joseph C.Giarratano, Gary D.Riley，“Expert System Principles and Programming Fourth Edition”，Thomson learning，2006.

[6]Timothy R.Newman，“Multiple Objective Fitness Functions for Cognitive Radio Adaptation”，Doctor Thesis，2008.

[7]A.He，K.K.Bae，T.R.Newman，J.Gaeddert，K.Kim，R.Menon，L.M.Tirado，J.Neel，Y.Zhao，J.H.Reed，and W.H.Tranter，“A survey of artificial intelligence for cognitive radios”，IEEE Transactiongs on Vehicular Technology，vol.59，no.4，pp.1578-1592，2010.

[8]Thomas W.Rondeau，“Application of Artificial Intelligence to Wireless Communication”，Doctor Thesis，2007.

[9]N.Baldo，B.R.Tamma，B.S.Manoj，R.Rao，and M.Zorzi，“A neural network based cognitive controller for dynamic channel selection”，in Proceedings of IEEE International Conference on Communications（ICC），pp.1-5，2009.

[10]X.Zhu，Y.Liu，W.Weng，and D.Yuan，“Channel sensing algorithm based on neural network for cognitive wireless mesh network”，in Proceedings of IEEE International Conference on Wireless Communications（WiCom），pp.1-4，2008.

第9篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

現(xiàn)行的SOC預(yù)測(cè)方法大致有化學(xué)法、電壓法、電化學(xué)阻抗法、電流積分法、卡爾曼濾波法、神經(jīng)網(wǎng)絡(luò)法等。

化學(xué)法：應(yīng)用范圍十分狹窄，僅適用于能接觸到電解液的電池。電壓法：通過(guò)對(duì)比已知的充放電電壓荷電狀態(tài)曲線，將電壓值轉(zhuǎn)換為電池的荷電態(tài)值，適用于電壓隨SOC變化較大的鉛酸電池和鎳氫電池等傳統(tǒng)電池。電化學(xué)：阻抗法有交流內(nèi)阻和直流內(nèi)阻之分，它們都與電池荷電狀態(tài)有密切關(guān)系。電流積分法又稱為安時(shí)積分法或庫(kù)倫計(jì)數(shù)，通過(guò)將電池電流對(duì)時(shí)間進(jìn)行積分來(lái)計(jì)算電池的荷電狀態(tài)。卡爾曼濾波法：是對(duì)動(dòng)力系統(tǒng)的狀態(tài)做出最小方差意義上的最優(yōu)估計(jì)?？柭鼮V波法將電池被看成一個(gè)動(dòng)力系統(tǒng)，電池荷電狀態(tài)是系統(tǒng)的一個(gè)內(nèi)部狀態(tài)。神經(jīng)網(wǎng)絡(luò)法：能夠模擬電池動(dòng)態(tài)特性，來(lái)估計(jì)電池荷電狀態(tài)，適用于各種電池，缺點(diǎn)是需要大量的參考數(shù)據(jù)進(jìn)行訓(xùn)練，估計(jì)誤差受訓(xùn)練數(shù)據(jù)和訓(xùn)練方法的影響很大。

（來(lái)源：文章屋網(wǎng) ）