神經(jīng)網(wǎng)絡(luò)的復(fù)雜度精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)的復(fù)雜度主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

關(guān)鍵詞：物聯(lián)網(wǎng)；LS-SVM；數(shù)據(jù)模型

中圖分類號：TP393

文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2017）10-0145-02

1.引言

前神經(jīng)網(wǎng)絡(luò)（feedforwardneuralnetwork），簡稱前饋網(wǎng)絡(luò)，是人工神經(jīng)網(wǎng)絡(luò)的一種。

2.概念相關(guān)概述

2.1前饋人工神經(jīng)網(wǎng)絡(luò)現(xiàn)實基礎(chǔ)模型

首先，生物神經(jīng)元模型。人的大腦中有眾多神經(jīng)元，而神經(jīng)元之間需要神經(jīng)突觸連接，進(jìn)而構(gòu)成了復(fù)雜有序的神經(jīng)網(wǎng)絡(luò)。而神經(jīng)元主要由樹突、軸突和細(xì)胞體組成。一個神經(jīng)元有一個細(xì)胞體和軸突，但是卻有很多樹突。樹突是神經(jīng)元的輸入端，用于接受信息，并向細(xì)胞體財團(tuán)對信息。而細(xì)胞體是神經(jīng)元的信息處理中心，能夠?qū)π盘栠M(jìn)行處理。軸突相當(dāng)于信息輸出端口，負(fù)責(zé)向下一個神經(jīng)元傳遞信息；其次，人工神經(jīng)元。人工神經(jīng)元的信息處理能力十分有限，但是，由眾多人工神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)系統(tǒng)龐大，具有巨大的潛力，能夠解決復(fù)雜問題。人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)具有相似之處，人工神經(jīng)網(wǎng)絡(luò)能夠從環(huán)境中獲取知識，并存儲信息。前饋人工神經(jīng)網(wǎng)絡(luò)主要包括隱含層、輸入層和輸出層。在前饋人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元將信號進(jìn)行非線性轉(zhuǎn)換之后，將信號傳遞給下一層，信息傳播是單向的。并且，前饋人工神經(jīng)網(wǎng)絡(luò)是人們應(yīng)用最多的網(wǎng)絡(luò)模型，常見的有BP神經(jīng)網(wǎng)絡(luò)、單層感知器、RBF神經(jīng)網(wǎng)絡(luò)等模型。

2.2 LS-SVM相關(guān)概述

支撐向量機(jī)是一種基于統(tǒng)計學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，能夠根據(jù)樣本信息進(jìn)行非現(xiàn)象映射，解回歸問題的高度非現(xiàn)象問題。并且，支撐向量機(jī)在解決非線性、局部極小點方問題上有很大的優(yōu)勢。LS-SVM也叫最小二乘支撐向量機(jī)，是支撐向量機(jī)的一種，遵循支撐向量機(jī)算法的結(jié)構(gòu)風(fēng)險最小化的原則，能夠?qū)⒅蜗蛄繖C(jī)算法中的不等式約束改為等式約束，進(jìn)而將二次問題轉(zhuǎn)換為線性方程問題，大大降低了計算的復(fù)雜性。并且，LS-SVM在運(yùn)算速度上遠(yuǎn)遠(yuǎn)高于支持向量機(jī)。但是，LS-SVM也存在一定的缺點，在計算的過程中，LS-SVM的忽視了全局最優(yōu)，只能實現(xiàn)局部最優(yōu)。并且，LS-SVM在處理噪聲污染嚴(yán)重的樣本時，會將所有的干擾信息都擬合到模型系統(tǒng)中，導(dǎo)致模型的魯棒性降低。另外，LS-SVM的在線建模算法、特征提取方法以及LS-SVM的支持向量稀疏性都有待改進(jìn)。

2.3物聯(lián)網(wǎng)下人工神經(jīng)網(wǎng)絡(luò)前饋LS-SVM研究的意義

物聯(lián)網(wǎng)是互聯(lián)網(wǎng)技術(shù)的發(fā)展趨勢，為前饋人工神經(jīng)網(wǎng)絡(luò)的發(fā)展與LS-SVM研究提供了技術(shù)保障，在物聯(lián)網(wǎng)背景下，研究人工神經(jīng)網(wǎng)絡(luò)前饋LS-SVM不僅能夠創(chuàng)新人工神經(jīng)網(wǎng)絡(luò)的計算方法，完善人工神經(jīng)網(wǎng)絡(luò)在現(xiàn)實生活中的應(yīng)用，而且對人們生活的自動化和智能化發(fā)展有著重要意義。另外，物聯(lián)網(wǎng)為人們對LS-SVM的研究提供了條件，在物聯(lián)網(wǎng)環(huán)境下，人們能夠運(yùn)用信息技術(shù)深化最小二乘支撐向量機(jī)研究，不斷提高LS-SVM回歸模型的魯棒性，改進(jìn)LS-SVM的特征提取方法和在線建模算法，完善計算機(jī)學(xué)習(xí)方法，提升計算機(jī)的運(yùn)算速度。3基于LS―SVM的丟包數(shù)據(jù)模型

在選擇的參數(shù)的基礎(chǔ)上，運(yùn)用IS-SVM方法，建立評估模型。本文選用LS-SVM回歸方法的原因，SVM優(yōu)于神經(jīng)網(wǎng)絡(luò)的方法主要是以下幾點：

首先，了解數(shù)據(jù)挖掘，數(shù)據(jù)挖掘前景廣闊，SVM是數(shù)據(jù)挖掘中的新方法。其次，選擇合適的數(shù)據(jù)分析方法根據(jù)數(shù)據(jù)集的大小和特征。小樣本訓(xùn)練適合SVM，樣本大情況的訓(xùn)練適宜神經(jīng)網(wǎng)絡(luò)，這里用SVM。

然后，就是文獻(xiàn)使用SVM和PCA建立跨層的評估QOE，實驗結(jié)果表明主觀MOS評分和此評價結(jié)果具有很好的一致性。

最后，本文采用SVM基礎(chǔ)上的進(jìn)一步拔高，LS-SVM，比SVM運(yùn)行快，精確度高。srcl3_hrcl_525.yuv實驗素材的特征是具有高清性質(zhì)。525序列60HZ，幀大小為1440x486字節(jié)/幀，625序列50HZ，大小同上。YUV格式是422格式即4：2：2格式的。

時域復(fù)雜度的模型如下，視頻的時域復(fù)雜度σ；編碼量化參數(shù)是Q；編碼速率為R；待定模型的參數(shù)為a和b。σ=Q（aR+b）。通過大量的實驗和理論分析，得到模型的參數(shù)：a=l 260，b=0.003。其中，編碼速率和幀率可以看作是視頻的固有屬性。高清視頻編碼速率R是512kb/s，最大幀速率為30000/1001=29.97幅，秒。量化參數(shù)是根據(jù)實驗的具體情況確定的。計算σ的值如下所示：當(dāng)量化參數(shù)為31時，σ=19998720.1，當(dāng)量化參數(shù)為10時，σ=6451200.03，當(dāng)量化參數(shù)為5時，σ=3225600.02，當(dāng)量化參數(shù)為62時，σ=39997440.2，當(dāng)量化參數(shù)為100時，σ=64512000.3，當(dāng)量化參數(shù)為200時，σ=129024001，當(dāng)量化參數(shù)為255時，σ=164505601。

對于srcl3網(wǎng)絡(luò)環(huán)境建立考慮網(wǎng)絡(luò)丟包的視頻質(zhì)量無參評估模型使用LS-SVM方法。

（1）輸入x的值。XI是量化參數(shù)，X2封包遺失率，X3單工鏈路速度，X4雙工鏈路速度，X5視頻的時域復(fù)雜度。等權(quán)的參數(shù)。

LS-SVM要求調(diào)用的參數(shù)只有兩個gam和sig2并且他們是LS-SVM的參數(shù)，其中決定適應(yīng)誤差的最小化和平滑程度的正則化參數(shù)是gam，RBF函數(shù)的參數(shù)是sig2。Type有兩種類型，一種是elassfieation用于分類的，一種是function estimation用于函數(shù)回歸的。

4.機(jī)器學(xué)習(xí)和物聯(lián)網(wǎng)的結(jié)合

物聯(lián)網(wǎng)中也用到人工智能，人工智能中有機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)中有神經(jīng)網(wǎng)絡(luò)。機(jī)器學(xué)習(xí)是人工智能研究的核心問題之一，也是當(dāng)前人工智能研究的一個熱門方向。

第2篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

關(guān)鍵詞：中立神經(jīng)網(wǎng)絡(luò)；魯棒穩(wěn)定性；離散時滯；范數(shù)有界；李雅普諾夫泛函

中圖分類號：TP183

近年來，各種類型的神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于許多實際工程問題，如信號與圖像處理、模式識別、聯(lián)想記憶、并行計算和優(yōu)化與控制等[1-3]。在這些應(yīng)用中，神經(jīng)網(wǎng)絡(luò)的動力學(xué)行為是非常重要的。眾所周知，許多實際系統(tǒng)的數(shù)學(xué)模型中均含有時滯的現(xiàn)象，如在模擬神經(jīng)網(wǎng)絡(luò)電路實現(xiàn)中，由于運(yùn)放器的開關(guān)速度限制會產(chǎn)生時滯，神經(jīng)網(wǎng)絡(luò)中的軸突信號傳輸延遲也會產(chǎn)生時滯。當(dāng)在模型中引入時滯后，它將影響軸突信號傳輸率下降，進(jìn)而導(dǎo)致失穩(wěn)。因此，在神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析中時滯是不可或缺的。近來的文獻(xiàn)中，已經(jīng)有很多利用各種分析和不等式方法，研究了不同類型的神經(jīng)網(wǎng)絡(luò)，得到了一些時滯神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性結(jié)果[4-7]。事實上，為了精確描述神經(jīng)網(wǎng)絡(luò)的平衡和穩(wěn)定屬性，前一個狀態(tài)的時間導(dǎo)數(shù)信息的必須引入神經(jīng)網(wǎng)絡(luò)的狀態(tài)方程，即中立神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性研究已經(jīng)有許多的結(jié)果，包括離散時滯、分布時滯以及變時滯[8-11]。

另一方面，在很多實際的系統(tǒng)中，如在物理電路和生物系統(tǒng)中，隨機(jī)干擾在動力系統(tǒng)中起著非常重要的作用。那么由于隨機(jī)因素客觀存在于實際過程中，確定性系統(tǒng)建模的只能描述實際過程動態(tài)特性的某種近似。顯而易見，利用確定性系統(tǒng)理論的系統(tǒng)建模方法對某些系統(tǒng)實行的描述常常會嚴(yán)重背離所期望的效果。為了抵消這些不確定因素的影響，必須將系統(tǒng)描述為不確定系統(tǒng)。

本文將在Lipschitz連續(xù)的激活函數(shù)條件下，研究參數(shù)范數(shù)有界不確定的離散時滯中立神經(jīng)網(wǎng)絡(luò)的魯棒穩(wěn)定性問題。應(yīng)用范數(shù)分析方法，構(gòu)造合適的Lyapunov-Krasovskii泛函并考慮參數(shù)范數(shù)有界不確定，研究新的穩(wěn)定性判定準(zhǔn)則，用以保證離散時滯中立神經(jīng)網(wǎng)絡(luò)在平衡點是全局漸近魯棒穩(wěn)定的。與現(xiàn)有文獻(xiàn)中穩(wěn)定性準(zhǔn)則絕大多數(shù)使用LMI形式[5，7，8，10，13]相比，本文的準(zhǔn)則未知參數(shù)少且計算復(fù)雜度底，更加易于驗證。

在本文中，用Rn表示n維歐幾里德空間；對任意p=（pij）n*n，p>0表示p是對稱正定矩陣；pT，p-1，λm（p），λM（p）分別代表P的轉(zhuǎn)置、P的逆、P的特征值的最小值和P的特征值的最大值；矩陣的范數(shù)P2=[λM（PTP）]1/2；對于向量 ， 。

1 系統(tǒng)模型及引理

考慮以下一類具有離散時滯的中立神經(jīng)網(wǎng)絡(luò)模型：

（1）

其中n 是神經(jīng)元數(shù)目，xi是第i個神經(jīng)元狀態(tài)；參數(shù)ci為常數(shù)；αij表示神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間的互連權(quán)值；τj為時滯；bij表示在具有時滯τj的情況下神經(jīng)元之間的互連權(quán)值；eij表示時滯狀態(tài)的時間導(dǎo)數(shù)的系數(shù)；fj（?）表示神經(jīng)元的激活函數(shù)；常數(shù)ui表示外部輸入。在系統(tǒng)（1）中，τj≥0表示時滯參數(shù)τ滿足τ=max（τj），1≤j≤n。系統(tǒng)（1）的初始條件為： ，其中 表示從[-τ，0]到R的連續(xù)函數(shù)集。

假設(shè)1 考慮系統(tǒng)模型參數(shù)的不確定性，假設(shè)系統(tǒng)（1）中ci，αij，bij，eij和τj是范數(shù)有界且滿足

（2）

假設(shè)2 系統(tǒng)（1）中的激活函數(shù)fj（），i=1，2，…，n是Lipschitz連續(xù)，即存在 使得

（3）

接下來，系統(tǒng)模型（1）寫成矩陣向量形式，如下

（4）

其中 A=（aij）n×n，B=（bij）n×n，

E=（bij）n×n，C=diag（ci>0），u=（u1，u2，…，un）T，

f（x（t））=（f1（x1（t）），f2（x2（t）），…，fn（xn（t）））T，

f（x（t-τ））=（f1（x1（t-τ1）），f2（x2（t-τ2）），…，fn（xn（t-τn）））T.

為了求得結(jié)果，將使用下列1個事實和4個引理。

事實1 如果W=（Wij）和V=（Vij）滿足式（2）且范數(shù)有界，則存在正常數(shù)σ（W）和σ（V）使得||W||2≤σ（W）和||V||2≤σ（V）。

引理1[12] 對W∈W1：=

下列不等式成立：

其中

引理2[13] 對W∈W1：=

下列不等式成立：

σ2（W）=||W*||2+||W*||2

其中

引理3[14] 對W∈W1：=

下列不等式成立：

其中

引理4[15] 對W∈W1：=

下列不等式成立：

其中

2 穩(wěn)定性分析

為了簡化證明過程，通過變換z（t）=x（t）-x*，轉(zhuǎn)移中立神經(jīng)網(wǎng)絡(luò)（1）的平衡點到新系統(tǒng)的原點，得到以下系統(tǒng)模型：

（5）

寫成矩陣向量形式，如下

（6）

其中 是轉(zhuǎn)換后神經(jīng)網(wǎng)絡(luò)的狀態(tài)向量， g（z（t））=g1（z1（t）），g2（z2（t）），…，gn（zn（t）））T，和表示新的非線性激活函數(shù)。式（5）中的激活函數(shù)gi（zi（t））滿足

（7）

以下將導(dǎo)出主要的穩(wěn)定性結(jié)果。

定理1 對于中立神經(jīng)網(wǎng)絡(luò)（5），讓||E||2

γ1=||C||2-||P||2-||Q||2-||H||2-σ2（C）||R-1||2>0，

γ2=||C||2||L-2||2-||D||2-σ2（A）||P-1||2-σ2（A）||R-1||2>0， （8）

γ3=||D||2-σ2（B）||Q-1||2-σ2（B）||R-1||2>0，

γ4=||H||2-3σ2（E）||R||2>0，

其中

證明 構(gòu)造如下Lyapunov-Krasovskii泛函：

（9）

其中hi和di，i=1，2，…，n是正常數(shù)。

沿著系統(tǒng)（5）解的軌跡，對V（z（t））求時間的導(dǎo)數(shù)：

（10）

由于 ，則有

（11）

另有下列不等式：

2zT（t）Ag（z（t））≤zT（t）Pz（t）+gT（z（t））ATP-1Ag（z（t））

≤||P||2||z（t）||22-||A||22||P-1||2||g（z（t））||22

（12）

2zT（t）Bg（z（t-τ））≤zT（t）Qz（t）+gT（z（t-τ））BTQ-1Bg（z（t-τ））

≤||Q||2||z（t）||22+||B||22||Q-1||2||g（z（t-τ））||22

（13）

-2zT（t-τ）ETCz（t）≤zT（t-τ）ETREz（t-τ）+zT（t））CTR-1Cz（t）

≤||E||22||R||2||（z（t-τ）||22+||C||22||R-1||2||z（t）||22

（14）

2zT（t-τ）ETAg（z（t））≤zT（t-τ）ETREz（t-τ）+gT（z（t））ATR-1Ag（z（t））

≤||E||22||R||2||（z（t-τ）||22+||A||22||R-1||2||g（z（t））||22，

（15）

2zT（t-τ）ETBg（z（t-τ））≤zT（t-τ）ETREz（t-τ）+gT（z（t-τ））BTR-1Bg（z（t-τ））

≤||E||22||R||2||（z（t-τ）||22+||B||22||R-1||2||g（z（t-τ））||22

（16）

其中P，Q，R是正定矩陣。

根據(jù)式（7）有

zT（t）Cz（t）≥gT（z（t））CL-2g（z（t）） （17）

將（12）-（17）代入（11），可得：

（18）

由事實1和引理1-引理4，

||A||2≤σ（A），||B||2≤σ（B），||C||2≤σ（C），||E||2≤σ（E）

，則有

（19）

即

（20）

等于

（21）

顯然，如果z（t），g（z（t-τ）），gT（z（t））和z（t-τ）中任意一個向量非零，則γ1>0，γ2>0，γ3>0，和γ4>0，就能保證 。當(dāng)且僅當(dāng)在系統(tǒng)（5）的原點有，z（t）=z（t-τ）=g（z（t-τ））=g（z（t））=0，則 。另外，V（z（t））∞as||z（t）||2∞意味著用于穩(wěn)定性分析的Lyapunov泛函是徑向無界的。因此，可以從標(biāo)準(zhǔn)的Lyapunov穩(wěn)定性理論得出結(jié)論：系統(tǒng)（5）的原點（等價于系統(tǒng)（1）的平衡點）是全局漸近魯棒穩(wěn)定的。定理1證明完畢。

選擇定理1中的H，D，P，Q和R，令H=hI，D=dI，P=pI，Q=qI和R=rI，我們能得到以下推論1。

推論1 對于中立神經(jīng)網(wǎng)絡(luò)（5），讓||E||2

（22）

其中

3 仿真示例

在本節(jié)，將用一個仿真算例說明所得結(jié)論的有效性。

例1 考慮具有離散時滯和范數(shù)有界不確定性的中立神經(jīng)網(wǎng)絡(luò)模型系統(tǒng)（5），其參數(shù)為

其中χ>0是一個實數(shù)。

計算矩陣A*，A*，B*和B*，有

那么，有

σ21（A*）=|||A*TA*|+2|A*T|A*+A*TA*||2=105.3505χ2，

σ22（A）=（||A*||2+||A*||2）=98.3826χ2，

σ23（A）=||A*||22+||A*||22+2||A*T|A*|||2=95.4366χ2，

因為σ（A）=minσ1（A），σ2（A），σ3（A），σ4（A），

可得σ2（A）=95.4366χ2。同理，計算得σ2（B）=95.4366χ2，σ2（C）=4。

由推論1，令||E||2，r，h，為極小值，d=1，p=q，則有

聯(lián)立上述4項必要條件，可得95.4366χ2≤1，即χ≤0.1024。因此，根據(jù)推論1，如果選擇χ≤0.1024，推論1中的穩(wěn)定性條件就能滿足，那么就能判定系統(tǒng)（5）的平衡點是全局漸近魯棒穩(wěn)定的。

接下來，考慮本例中的一種特殊情況，將給出可視化的模擬結(jié)果。令χ=0.08（滿足χ≤0.1024），則有

選擇

使用Matlab模擬，結(jié)果如圖1所示，可以看出系統(tǒng)（5）經(jīng)過一段時間后收斂于平衡點。

圖1

系統(tǒng)（5）的x（t）軌跡（初始狀態(tài)x（0）=[0.4 -0.2]、激活函數(shù)f（x（t））=tanh（x（t））

4 結(jié)束語

本文得到了一個有關(guān)具有離散時滯和參數(shù)范數(shù)有界的不確定性中立神經(jīng)網(wǎng)絡(luò)的全局漸近魯棒穩(wěn)定性的新結(jié)果。通過將神經(jīng)網(wǎng)絡(luò)模型中的參數(shù)不確定性轉(zhuǎn)化為范數(shù)有界問題，并利用矩陣不等式分析方法，構(gòu)造合適的Lyapunov-Krasovskii泛函，得到了新的與時滯無關(guān)的穩(wěn)定性判定準(zhǔn)則，能夠保證該類離散時滯中立神經(jīng)網(wǎng)絡(luò)在平衡點全局漸近魯棒穩(wěn)定。與現(xiàn)有文獻(xiàn)中大多數(shù)LMI形式的穩(wěn)定性準(zhǔn)則不同，該穩(wěn)定性判定準(zhǔn)則中未知參數(shù)少且計算復(fù)雜度低，易于計算驗證。最后，一個數(shù)值仿真算例驗證了穩(wěn)定性判定準(zhǔn)則的有效性。在后續(xù)的研究工作中，將進(jìn)一步研究具有變時滯的范數(shù)有界不確定神經(jīng)網(wǎng)絡(luò)的全局漸近魯棒穩(wěn)定性問題。

參考文獻(xiàn)：

[1]韓廣，喬俊飛，薄迎春.溶解氧濃度的前饋神經(jīng)網(wǎng)絡(luò)建模控制方法[J].控制理論與應(yīng)用，2013（05）：585-591.

[2]黃亮，馮登國，連一峰.基于神經(jīng)網(wǎng)絡(luò)的 DDoS 防護(hù)績效評估[J].計算機(jī)研究與發(fā)展，2013（10）：2100-2108.

[3]吳玉香，王聰.基于確定學(xué)習(xí)的機(jī)器人任務(wù)空間自適應(yīng)神經(jīng)網(wǎng)絡(luò)控制[J].自動化學(xué)報，2013（06）：806-815.

[4]劉國權(quán)，周書民.一類含有時變時滯的不確定中立型Hopfield神經(jīng)網(wǎng)絡(luò)的魯棒穩(wěn)定性判據(jù)[J].自動化學(xué)報，2013（09）：1421-1430.

[5] DU Y，ZHONG S，ZHOU N， et al.Exponential stability for stochastic CohenGrossberg BAM neural networks with discrete and distributed time-varying delays[J].Neurocomputing，2014（01）：144-151.

[6]LIU B. Global exponential stability for BAM neural networks with time-varying delays in the leakage terms[J].Nonlinear Analysis：Real World Applications，2013（01）：559-566.

[7]KWON O，PARK J H，LEE S-M，et al.Analysis on delay-dependent stability for neural networks with time-varying delays[J].Neurocomputing，2013（01）：114-120.

[8]LAKSHMANAN S，PARK J H，JUNG H Y，et al.A delay partitioning approach to delay-dependent stability analysis for neutral type neural networks with discrete and distributed delays[J].Neurocomputing，2013（01）：81-89.

[9]WANG K，ZHU Y.Stability of almost periodic solution for a generalized neutral-type neural networks with delays [J].Neurocomputing，2010（16-18）：3300-3307.

[10]LIU P L.Improved delay-dependent stability of neutral type neural networks with distributed delays[J].ISA Trans，2013（06）：717-24.

[11]ZHANG Z，LIU W， ZHOU D.Global asymptotic stability to a generalized Cohen-Grossberg BAM neural networks of neutral type delays[J].Neural networks，2012（01）：94-105.

[12]FAYDASICOK O，ARIK S.A new upper bound for the norm of interval matrices with application to robust stability analysis of delayed neural networks[J].Neural Networks，2013（01）：67-71.

[13]CAO J，HUANG D-S，QU Y.Global robust stability of delayed recurrent neural networks[J].Chaos，Solitons & Fractals，2005（01）：221-229.

[14]ENSARI T，ARIK S.New results for robust stability of dynamical neural networks with discrete time delays[J].Expert Systems with Applications，2010（08）：5925-5930.

[15]SINGH V.Global robust stability of delayed neural networks：Estimating upper limit of norm of delayed connection weight matrix[J].Chaos，Solitons&Fractals，2007（01）：259-263.

作者簡介：吳海霞（1979-），女，山東臨清人，博士后，副教授，美國IEEE會員，中國計算機(jī)學(xué)會會員。研究方向：神經(jīng)網(wǎng)絡(luò)、基因調(diào)控網(wǎng)絡(luò)動力學(xué)行為。

第3篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

關(guān)鍵字神經(jīng)網(wǎng)絡(luò)，BP模型，預(yù)測

1引言

在系統(tǒng)建模、辨識和預(yù)測中，對于線性系統(tǒng)，在頻域，傳遞函數(shù)矩陣可以很好地表達(dá)系統(tǒng)的黑箱式輸入輸出模型；在時域，Box-Jenkins方法、回歸分析方法、ARMA模型等，通過各種參數(shù)估計方法也可以給出描述。對于非線性時間序列預(yù)測系統(tǒng)，雙線性模型、門限自回歸模型、ARCH模型都需要在對數(shù)據(jù)的內(nèi)在規(guī)律知道不多的情況下對序列間關(guān)系進(jìn)行假定?？梢哉f傳統(tǒng)的非線性系統(tǒng)預(yù)測，在理論研究和實際應(yīng)用方面，都存在極大的困難。相比之下，神經(jīng)網(wǎng)絡(luò)可以在不了解輸入或輸出變量間關(guān)系的前提下完成非線性建模[4，6]。神經(jīng)元、神經(jīng)網(wǎng)絡(luò)都有非線性、非局域性、非定常性、非凸性和混沌等特性，與各種預(yù)測方法有機(jī)結(jié)合具有很好的發(fā)展前景，也給預(yù)測系統(tǒng)帶來了新的方向與突破。建模算法和預(yù)測系統(tǒng)的穩(wěn)定性、動態(tài)性等研究成為當(dāng)今熱點問題。目前在系統(tǒng)建模與預(yù)測中，應(yīng)用最多的是靜態(tài)的多層前向神經(jīng)網(wǎng)絡(luò)，這主要是因為這種網(wǎng)絡(luò)具有通過學(xué)習(xí)逼近任意非線性映射的能力。利用靜態(tài)的多層前向神經(jīng)網(wǎng)絡(luò)建立系統(tǒng)的輸入/輸出模型，本質(zhì)上就是基于網(wǎng)絡(luò)逼近能力，通過學(xué)習(xí)獲知系統(tǒng)差分方程中的非線性函數(shù)。但在實際應(yīng)用中，需要建模和預(yù)測的多為非線性動態(tài)系統(tǒng)，利用靜態(tài)的多層前向神經(jīng)網(wǎng)絡(luò)必須事先給定模型的階次，即預(yù)先確定系統(tǒng)的模型，這一點非常難做到。近來，有關(guān)基于動態(tài)網(wǎng)絡(luò)的建模和預(yù)測的研究，代表了神經(jīng)網(wǎng)絡(luò)建模和預(yù)測新的發(fā)展方向。

2BP神經(jīng)網(wǎng)絡(luò)模型

BP網(wǎng)絡(luò)是采用Widrow-Hoff學(xué)習(xí)算法和非線性可微轉(zhuǎn)移函數(shù)的多層網(wǎng)絡(luò)。典型的BP算法采用梯度下降法，也就是Widrow-Hoff算法。現(xiàn)在有許多基本的優(yōu)化算法，例如變尺度算法和牛頓算法。如圖1所示，BP神經(jīng)網(wǎng)絡(luò)包括以下單元：①處理單元(神經(jīng)元)（圖中用圓圈表示），即神經(jīng)網(wǎng)絡(luò)的基本組成部分。輸入層的處理單元只是將輸入值轉(zhuǎn)入相鄰的聯(lián)接權(quán)重，隱層和輸出層的處理單元將它們的輸入值求和并根據(jù)轉(zhuǎn)移函數(shù)計算輸出值。②聯(lián)接權(quán)重(圖中如V,W)。它將神經(jīng)網(wǎng)絡(luò)中的處理單元聯(lián)系起來，其值隨各處理單元的聯(lián)接程度而變化。③層。神經(jīng)網(wǎng)絡(luò)一般具有輸入層x、隱層y和輸出層o。④閾值。其值可為恒值或可變值，它可使網(wǎng)絡(luò)能更自由地獲取所要描述的函數(shù)關(guān)系。⑤轉(zhuǎn)移函數(shù)F。它是將輸入的數(shù)據(jù)轉(zhuǎn)化為輸出的處理單元，通常為非線性函數(shù)。

2.1基本算法

BP算法主要包含4步，分為向前傳播和向后傳播兩個階段：

1）向前傳播階段

（1）從樣本集中取一個樣本（Xp，Yp），將Xp輸入網(wǎng)絡(luò)；

（2）計算相應(yīng)的實際輸出Op

在此階段，信息從輸入層經(jīng)過逐級的變換，傳送到輸出層。這個過程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運(yùn)行時的執(zhí)行過程。

2）向后傳播階段

（1）計算實際輸出Op與相應(yīng)的理想輸出Yp的差；

（2）按極小化誤差的方式調(diào)整權(quán)矩陣。

這兩個階段的工作受到精度要求的控制，在這里取作為網(wǎng)絡(luò)關(guān)于第p個樣本的誤差測度，而將網(wǎng)絡(luò)關(guān)于整個樣本集的誤差測度定義為。圖2是基本BP算法的流程圖。

2.2動態(tài)BP神經(jīng)網(wǎng)絡(luò)預(yù)測算法

在經(jīng)典的BP算法以及其他的訓(xùn)練算法中都有很多變量，這些訓(xùn)練算法可以確定一個ANN結(jié)構(gòu)，它們只訓(xùn)練固定結(jié)構(gòu)的ANN權(quán)值（包括聯(lián)接權(quán)值和結(jié)點轉(zhuǎn)換函數(shù)）。在自動設(shè)計ANN結(jié)構(gòu)方面，也已有較多的嘗試，比如構(gòu)造性算法和剪枝算法。前一種是先隨機(jī)化網(wǎng)絡(luò)，然后在訓(xùn)練過程中有必要地增加新的層和結(jié)點；而剪枝法則正好相反。文獻(xiàn)[2]中提出了演化神經(jīng)網(wǎng)絡(luò)的理念，并把EP算法與BP進(jìn)行了組合演化；也有很多學(xué)者把遺傳算法和BP進(jìn)行結(jié)合，但這些算法都以時間復(fù)雜度以及空間復(fù)雜度的增加為代價。根據(jù)Kolmogorov定理,對于任意給定的L2型連續(xù)函數(shù)f:[0,1]nRm,f可以精確地用一個三層前向神經(jīng)網(wǎng)絡(luò)來實現(xiàn)，因而可以只考慮演化網(wǎng)絡(luò)的權(quán)值和結(jié)點數(shù)而不影響演化結(jié)果?；诖耍贐P原有算法的基礎(chǔ)上，增加結(jié)點數(shù)演化因子，然后記錄每層因子各異時演化出的結(jié)構(gòu)，最后選取最優(yōu)的因子及其網(wǎng)絡(luò)結(jié)構(gòu)，這樣就可以避免由于增加或剪枝得到的局部最優(yōu)。根據(jù)實驗得知，不同的預(yù)測精度也影響網(wǎng)絡(luò)層神經(jīng)元的結(jié)點數(shù)，所以可根據(jù)要求動態(tài)地建立預(yù)測系統(tǒng)。具體步驟如下：

（1）將輸入向量和目標(biāo)向量進(jìn)行歸一化處理。

（2）讀取輸入向量、目標(biāo)向量，記錄輸入維數(shù)m、輸出層結(jié)點數(shù)n。

（3）當(dāng)訓(xùn)練集確定之后，輸入層結(jié)點數(shù)和輸出層結(jié)點數(shù)隨之而確定，首先遇到的一個十分重要而又困難的問題是如何優(yōu)化隱層結(jié)點數(shù)和隱層數(shù)。實驗表明，如果隱層結(jié)點數(shù)過少，網(wǎng)絡(luò)不能具有必要的學(xué)習(xí)能力和信息處理能力。反之，若過多，不僅會大大增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性（這一點對硬件實現(xiàn)的網(wǎng)絡(luò)尤其重要），網(wǎng)絡(luò)在學(xué)習(xí)過程中更易陷入局部極小點，而且會使網(wǎng)絡(luò)的學(xué)習(xí)速度變得很慢。隱層結(jié)點數(shù)的選擇問題一直受到神經(jīng)網(wǎng)絡(luò)研究工作者的高度重視。Gorman指出隱層結(jié)點數(shù)s與模式數(shù)N的關(guān)系是：s＝log2N；Kolmogorov定理表明，隱層結(jié)點數(shù)s＝2n＋1（n為輸入層結(jié)點數(shù)）；而根據(jù)文獻(xiàn)[7]：s＝sqrt（0.43mn＋0.12nn＋2.54m＋0.77n＋0.35）＋0.51[7]。

（4）設(shè)置結(jié)點數(shù)演化因子a。為了快速建立網(wǎng)絡(luò)，可以對其向量初始化，并從小到大排序[4，7]。

（5）建立BP神經(jīng)網(wǎng)絡(luò)。隱含層傳遞函數(shù)用tansig，輸出層用logsig，訓(xùn)練函數(shù)采用動態(tài)自適應(yīng)BP算法，并制訂停止準(zhǔn)則：目標(biāo)誤差精度以及訓(xùn)練代數(shù)。

（6）初始化網(wǎng)絡(luò)。

（7）訓(xùn)練網(wǎng)絡(luò)直到滿足停止判斷準(zhǔn)則。

（8）用測試向量對網(wǎng)絡(luò)進(jìn)行預(yù)測，并記錄誤差和逼近曲線，評估其網(wǎng)絡(luò)的適應(yīng)性。其適應(yīng)度函數(shù)采取規(guī)則化均方誤差函數(shù)。

（9）轉(zhuǎn)到（5），選取下一個演化因子，動態(tài)增加隱含層結(jié)點數(shù)，直到最后得到最佳預(yù)測網(wǎng)絡(luò)。

3基于神經(jīng)網(wǎng)絡(luò)的預(yù)測原理[4]

3.1正向建模

正向建模是指訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)表達(dá)系統(tǒng)正向動態(tài)的過程，這一過程建立的神經(jīng)網(wǎng)絡(luò)模型稱為正向模型，其結(jié)構(gòu)如圖3所示。其中，神經(jīng)網(wǎng)絡(luò)與待辨識的系統(tǒng)并聯(lián)，兩者的輸出誤差用做網(wǎng)絡(luò)的訓(xùn)練信號。顯然，這是一個典型的有導(dǎo)師學(xué)習(xí)問題，實際系統(tǒng)作為教師，向神經(jīng)網(wǎng)絡(luò)提供算法所需要的期望輸出。當(dāng)系統(tǒng)是被控對象或傳統(tǒng)控制器時，神經(jīng)網(wǎng)絡(luò)多采用多層前向網(wǎng)絡(luò)的形式，可直接選用BP網(wǎng)絡(luò)或它的各種變形。而當(dāng)系統(tǒng)為性能評價器時，則可選擇再勵學(xué)習(xí)算法，這時網(wǎng)絡(luò)既可以采用具有全局逼近能力的網(wǎng)絡(luò)（如多層感知器），也可選用具有局部逼近能力的網(wǎng)絡(luò)（如小腦模型控制器等）。3.2逆向建模

建立動態(tài)系統(tǒng)的逆模型，在神經(jīng)網(wǎng)絡(luò)中起著關(guān)鍵作用，并且得到了廣泛的應(yīng)用。其中，比較簡單的是直接逆建模法，也稱為廣義逆學(xué)習(xí)。其結(jié)構(gòu)如圖4所示，擬預(yù)報的系統(tǒng)輸出作為網(wǎng)絡(luò)的輸入，網(wǎng)絡(luò)輸出與系統(tǒng)輸入比較，相應(yīng)的輸入誤差用于訓(xùn)練，因而網(wǎng)絡(luò)將通過學(xué)習(xí)建立系統(tǒng)的逆模型。但是，如果所辨識的非線性系統(tǒng)是不可逆的，利用上述方法將得到一個不正確的逆模型。因此，在建立系統(tǒng)時，可逆性應(yīng)該先有所保證。

4應(yīng)用實例分析

以我國西南某地震常發(fā)地區(qū)的地震資料作為樣本來源，實現(xiàn)基于動態(tài)神經(jīng)網(wǎng)絡(luò)的地震預(yù)報。根據(jù)資料，提取出7個預(yù)報因子和實際發(fā)生的震級M作為輸入和目標(biāo)向量。預(yù)報因子為半年內(nèi)M>=3的地震累計頻度、半年內(nèi)能量釋放積累值、b值、異常地震群個數(shù)、地震條帶個數(shù)、是否處于活動期內(nèi)以及相關(guān)地震區(qū)地震級。在訓(xùn)練前，對數(shù)據(jù)進(jìn)行歸一化處理。由于輸入樣本為7維的輸入向量，一般情況下輸入層設(shè)7個神經(jīng)元。根據(jù)實際情況，輸出層神經(jīng)元個數(shù)為1。隱含層神經(jīng)元的傳遞函數(shù)為S型正切函數(shù)，輸出層也可以動態(tài)選擇傳遞函數(shù)。實例數(shù)據(jù)來自文獻(xiàn)[4]，將數(shù)據(jù)集分為訓(xùn)練集、測試集和確定集。表1中的7×7數(shù)組表示歸一化后的訓(xùn)練向量，第一個7表示預(yù)報因子數(shù)，第二個7表示樣本數(shù)。

表1歸一化后的訓(xùn)練向量

在不同神經(jīng)元數(shù)情況下，對網(wǎng)絡(luò)進(jìn)行訓(xùn)練和仿真，得到如圖5所示的一組預(yù)測誤差曲線。其中，曲線A表示隱層結(jié)點數(shù)為6時的預(yù)測誤差曲線，曲線B表示隱含層結(jié)點數(shù)為3時的預(yù)測誤差曲線，曲線C表示隱含層結(jié)點數(shù)為5時的預(yù)測誤差曲線，曲線D表示隱含層結(jié)點數(shù)為4時的預(yù)測誤差曲線。將五種情況下的誤差進(jìn)行對比，曲線C表示的網(wǎng)絡(luò)預(yù)測性能最好，其隱含層神經(jīng)元數(shù)為5，圖中曲線E表示的是隱含層結(jié)點數(shù)為15時的預(yù)測誤差曲線（文獻(xiàn)[4]中的最好結(jié)果）。同時也證明，在設(shè)計BP網(wǎng)絡(luò)時，不能無限制地增加層神經(jīng)元的個數(shù)。若過多，不僅會大大增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，網(wǎng)絡(luò)在學(xué)習(xí)過程中更易陷入局部極小點，而且會使網(wǎng)絡(luò)的學(xué)習(xí)速度、預(yù)測速度變得很慢。

5結(jié)論

本文針對基本的BP神經(jīng)網(wǎng)絡(luò)，提出了可動態(tài)改變神經(jīng)元數(shù)（與精度相關(guān)）的BP神經(jīng)網(wǎng)絡(luò)預(yù)測方法，可以根據(jù)實際情況建立預(yù)測系統(tǒng)。用此種方法可以建立最好的神經(jīng)網(wǎng)絡(luò)，不會有多余的神經(jīng)元，也不會讓網(wǎng)絡(luò)在學(xué)習(xí)過程中過早陷于局部極小點。

參考文獻(xiàn)

[1]YaoX,LiuY.FastEvolutionaryProgramming.inEvolutionaryProgrammingⅤ:Proc.5thAnnu.Conf.EvolutionaryProgram,L.Fogel,P.AngelineandT.Bäck,Eds.Cambridge,MA:MITPress,1996,451-460

[2]XinYao,YongLiu,ANewEvolutionarySystemforEvolvingArtificialNeuralNetworksIEEETRANSACTIONSONNEURALNETWORKS,VOL8,NO.31997，694-714

[3]潘正君，康立山，陳毓屏.演化計算[M].北京:清華大學(xué)出版社，1998

[4]飛思科技產(chǎn)品研發(fā)中心.神經(jīng)網(wǎng)絡(luò)理論與實現(xiàn).北京:電子工業(yè)出版社，2005

[5]蔡曉芬，方建斌.演化神經(jīng)網(wǎng)絡(luò)算法.江漢大學(xué)學(xué)報，第33卷第3期，2005.9

第4篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

（黑龍江民族職業(yè)學(xué)院，黑龍江 哈爾濱 150066）

摘　要：盈余預(yù)測具有引導(dǎo)投資者投資行為的作用，因此受到投資者的廣泛重視。然而，國內(nèi)對公司未來盈利進(jìn)行預(yù)測的研究還相當(dāng)少。提出了以決策樹作為基分類器，采用集成學(xué)習(xí)方法，利用上市某公司2001至2005年的財務(wù)數(shù)據(jù)對該上市公司在2006年的盈利狀況進(jìn)行預(yù)測研究。首先，采用有放回的隨機(jī)抽樣技術(shù)分別從訓(xùn)練樣本和測試樣本中產(chǎn)生50個訓(xùn)練子集和1個測試集；然后利用決策樹，采用CHAID算法對50個訓(xùn)練子集分別進(jìn)行訓(xùn)練，得到50個基決策樹分類器；通過采用Bagging方法，構(gòu)建決策樹集成模型。所得到的集成模型在測試集上的分類準(zhǔn)確率達(dá)到96%以上，通過比較由不同數(shù)目的基分類器構(gòu)成的集成模 型和單個分類器的預(yù)測準(zhǔn)確率，證明了該集成模型的預(yù)測準(zhǔn)確率高且穩(wěn)定。

關(guān)鍵詞 ：神經(jīng)網(wǎng)絡(luò)；集成學(xué)習(xí)；盈利預(yù)測

中圖分類號：F275文獻(xiàn)標(biāo)志碼：A文章編號：1000-8772（2014）31-0253-02

收稿日期：2014-10-28

作者簡介：潘道華（1981-），女，漢族，黑龍江哈爾濱人，研究生，主要研究方向：人工智能、數(shù)據(jù)挖掘與決策支持。

1 引言

公司的財務(wù)狀況及其未來盈利情況不但對公司的管理層十分重要，而且對其他投資者也非常重要。如果能夠利用公司以往的財務(wù)報表數(shù)據(jù)和其它一些宏觀經(jīng)濟(jì)數(shù)據(jù)（如GDP、CPI、利率等）及早準(zhǔn)確預(yù)測公司未來的盈利狀況的話，那么就可以更有效地對公司進(jìn)行管理和指導(dǎo)投資者的投資行為。但是，一個公司的財務(wù)報表往往只反映了公司在過去的財政年度內(nèi)的經(jīng)營狀況，并不反映出公司在下一年中的管理情況。因而，一個公司的財務(wù)狀況與其未來盈利之間的關(guān)系并沒有那么明顯，它受到很多因素的影響，要構(gòu)建一個精確的模型反映它們之間的關(guān)系是很困難的。針對此情況，本文提出采用決策樹集成方法，構(gòu)建模型來刻畫公司財務(wù)狀況與其未來盈利之間的關(guān)系，利用上市公司已有的財務(wù)數(shù)據(jù)，并結(jié)合主要的宏觀經(jīng)濟(jì)變量來預(yù)測公司未來的盈利狀況，這必將是公司財務(wù)處理的一個新發(fā)展。

數(shù)據(jù)挖掘技術(shù)越來越多地被用于預(yù)測研究。集成學(xué)習(xí)方法作為數(shù)據(jù)挖掘技術(shù)中一種較新的方法，由于其在提高預(yù)測的準(zhǔn)確性上的優(yōu)點，正被越來越多的研究者使用。

盡管許多領(lǐng)域都應(yīng)用集成學(xué)習(xí)方法來進(jìn)行研究，但在對公司未來盈利的預(yù)測研究上還很少，在國內(nèi)尚未見到任何報導(dǎo)。雖然Takashi Washio等人對日本上市公司的未來盈利狀況進(jìn)行了研究，但是他們只是將盈利狀況分為兩種情況來進(jìn)行研究。本文通過利用集成學(xué)習(xí)方法，考慮宏觀經(jīng)濟(jì)對公司盈利可能造成的影響，提出將宏觀經(jīng)濟(jì)變量納入變量體系，同時，為了使結(jié)果更有指導(dǎo)意義，將上市公司的每股收益（EPS）指標(biāo)將公司盈利的情況劃分為三類，即EPS為負(fù)，EPS大于均值及EPS介于二者之間，對其進(jìn)行預(yù)測研究。

2 研究方法

2.1神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是由大量并行分布式處理單元組成的簡單處理單元[1]。由于神經(jīng)網(wǎng)絡(luò)具有非線性，自學(xué)習(xí)能力、自適應(yīng)性強(qiáng)和容錯性高等優(yōu)點，因而被廣泛用于各種非線性預(yù)測問題。

所有神經(jīng)網(wǎng)絡(luò)都有一個輸入層和輸出層，一個網(wǎng)絡(luò)結(jié)構(gòu)可以包含一個或多個隱含層。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是通過調(diào)整連接權(quán)重和偏差實現(xiàn)的。Cybenko等人證明了如果神經(jīng)網(wǎng)絡(luò)利用一個有界的，連續(xù)的，非遞減的激活函數(shù)時，只要不對隱含層的神經(jīng)元數(shù)進(jìn)行限制，一個三層網(wǎng)絡(luò)（包含一個隱含層）就能夠?qū)W習(xí)任意一個在輸入和輸出空間的連續(xù)映射[2]。在實際應(yīng)用中用的最多的是BP神經(jīng)網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)是一種基于誤差后向傳播算法（BP算法）的多層感知器網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的激活函數(shù)一般采用Log-Sigmoid或Tangent Sigmoid等可微函數(shù)。BP算法分為兩個階段。第一階段是前向過程，逐層計算各神經(jīng)元的輸出值，第二階段是誤差后向傳播過程，從后向前逐層傳播輸出層的誤差并據(jù)此修正各層權(quán)重，直到輸出結(jié)果滿足預(yù)先設(shè)定的精度要求或達(dá)到算法設(shè)定的最大循環(huán)次數(shù)。

2.2神經(jīng)網(wǎng)絡(luò)集成

如何根據(jù)觀測數(shù)據(jù)學(xué)習(xí)得到精確估計是機(jī)器學(xué)習(xí)領(lǐng)域中人們非常關(guān)注的一個問題，機(jī)器學(xué)習(xí)的一個重要目標(biāo)就是對新的測試樣本盡可能給出最精確的估計。構(gòu)造一個高精度估計是一件相當(dāng)困難的事情，然而產(chǎn)生多個只比隨機(jī)猜測好的粗糙估計卻很容易。傳統(tǒng)的機(jī)器學(xué)習(xí)方法是在一個由各種可能的函數(shù)構(gòu)成的空間中尋找最接近實際分類函數(shù)的分類器。常用的單個分類器模型主要有決策樹、人工神經(jīng)網(wǎng)絡(luò)等。

集成學(xué)習(xí)（ensemble learning）的基本思想是在對新的實例進(jìn)行分類的時候，把若干個單個分類器集成起來，通過對多個分類器的分類結(jié)果按某種方式來進(jìn)行組合，決定最終的分類，以取得比單個分類器更好的結(jié)果。如果把單個分類器比作一個決策者的話，集成學(xué)習(xí)方法就相當(dāng)于多個決策者共同進(jìn)行一項決策。

盡管單個神經(jīng)網(wǎng)絡(luò)在處理非線性問題上表現(xiàn)良好，但是用單個神經(jīng)網(wǎng)絡(luò)來進(jìn)行預(yù)測，一個不足的地方就是結(jié)果的穩(wěn)定性差。因為神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果受網(wǎng)絡(luò)各層之間的初始權(quán)重影響很大。為了克服這一不足，本文利用集成學(xué)習(xí)的思想，采用以BP神經(jīng)網(wǎng)絡(luò)作為基分類器的神經(jīng)網(wǎng)絡(luò)集成方法來對公司未來盈利狀況進(jìn)行預(yù)測。

以神經(jīng)網(wǎng)絡(luò)作為基分類器構(gòu)建集成模型的方法主要有Bagging和Boosting。本文選擇采用Bagging方法，因為Bagging方法較易于實現(xiàn)，而且不容易產(chǎn)生過擬合現(xiàn)象。對一個已知的有n個數(shù)據(jù)元素的數(shù)據(jù)集，Bagging法的原理是[1]：對每次循環(huán)（=1，2，…，），采用有放回的隨機(jī)抽樣方法從數(shù)據(jù)集中抽取m個數(shù)據(jù)形成訓(xùn)練集（mn），分類器模型從中學(xué)習(xí)。為了對一個未知的元素X分類，每個都返回一個分類值，將該分類值看成是一票，而最后的集成分類器，通過統(tǒng)計這些投票，將X歸為得票最多的那一類。

3 研究步驟與具體實例分析

3.1樣本選取

本文采用的上市公司數(shù)據(jù)樣本來自天軟數(shù)據(jù)庫。在剔除了財務(wù)變量有大量缺失值后，樣本共包含從2001年至2006年的深市和滬市A股的1174家上市公司。其中，滬市上市公司734家，深市440家。本文選取了反映上市公司償債能力，成長能力，經(jīng)營能力，資本結(jié)構(gòu)，盈利能力，現(xiàn)金流，每股指標(biāo)等方面的29個財務(wù)變量作為初始變量。此外，為了研究宏觀經(jīng)濟(jì)環(huán)境對公司未來盈利的影響，相應(yīng)的選擇了2001年至2006年的三個宏觀經(jīng)濟(jì)變量：國內(nèi)生產(chǎn)總值增長率（GDP），居民消費(fèi)價格指數(shù)增長率（CPI）及一年期金融機(jī)構(gòu)貸款基準(zhǔn)利率。這幾個變量都與公司的盈利狀況有著密切的關(guān)系。國內(nèi)生產(chǎn)總值反映了整個國家的經(jīng)濟(jì)狀況，而居民消費(fèi)價格指數(shù)是反映居民購買并用于消費(fèi)的商品和服務(wù)項目價格水平的變動趨勢和變動幅度的相對數(shù)，它可以全面反映多種市場價格變動因素及其對居民實際生活的影響程度。一年期金融機(jī)構(gòu)貸款基準(zhǔn)利率會影響公司的營運(yùn)成本，會對公司的利潤產(chǎn)生直接的影響。所有變量見附表。

為了預(yù)測未來公司的盈利狀況，本文將數(shù)據(jù)樣本分為訓(xùn)練樣本和測試樣本。其中，訓(xùn)練樣本由2001年至2005年的公司樣本數(shù)據(jù)用有放回的隨機(jī)抽樣方法得到，每個訓(xùn)練樣本包含1000個觀測，測試樣本是用相同方法得到的上市公司在2006年的數(shù)據(jù)樣本，包含400個觀測。

3.2指標(biāo)選擇

對于初始變量表，變量之間存在著相關(guān)性。雖然神經(jīng)網(wǎng)絡(luò)對變量間的相關(guān)性具有較強(qiáng)的容忍度，但是，變量太多會增加網(wǎng)絡(luò)的復(fù)雜度，還有可能使網(wǎng)絡(luò)過適應(yīng)，從而使得網(wǎng)絡(luò)在測試樣本上的表現(xiàn)很差，而且并不是變量越多，神經(jīng)網(wǎng)絡(luò)的預(yù)測精度就越大，所以適當(dāng)選擇具有代表性的指標(biāo)變量既可以達(dá)到與用所有變量相同的預(yù)測精度，又能降低網(wǎng)絡(luò)的復(fù)雜度，避免使網(wǎng)絡(luò)陷入過適應(yīng)，提高網(wǎng)絡(luò)的訓(xùn)練速度。

然而，運(yùn)用神經(jīng)網(wǎng)絡(luò)方法，對輸入變量的選取目前并沒有一個公認(rèn)的方法。為了從眾多的初始變量中選擇具有代表性的變量，本文利用spss Clementine11.1數(shù)據(jù)挖掘軟件包選項面板中的建模欄中的特征選擇節(jié)點來對變量進(jìn)行篩選。通過構(gòu)建一個帶有特征選擇節(jié)點的流，可以為每一訓(xùn)練集篩選出重要的變量。利用篩選出來的變量和全部變量分別對訓(xùn)練樣本進(jìn)行訓(xùn)練，得到兩種神經(jīng)網(wǎng)絡(luò)模型，分別對測試樣本進(jìn)行分類，并分別構(gòu)建集成模型。

3.3 建立模型

本文是對2001年至2005年上市公司的數(shù)據(jù)樣本進(jìn)行訓(xùn)練得到單個神經(jīng)網(wǎng)絡(luò)模型，用該模型對測試樣本進(jìn)行預(yù)測。如何產(chǎn)生不同的分類模型是影響集成模型準(zhǔn)確性的一個重要因素[4]。以下四種方法——不同的初始條件，不同的網(wǎng)絡(luò)結(jié)構(gòu)，不同的訓(xùn)練數(shù)據(jù)，不同的訓(xùn)練算法常用來產(chǎn)生分類模型。本文采用不同的訓(xùn)練數(shù)據(jù)和不同的網(wǎng)絡(luò)結(jié)構(gòu)這兩種方式結(jié)合得到基神經(jīng)網(wǎng)絡(luò)。

按照Bagging方法的要求，本文采用有放回隨機(jī)抽樣方法，從訓(xùn)練樣本中隨機(jī)抽取了15個子訓(xùn)練集，并用相同的方法從測試集中抽取了400個樣本數(shù)據(jù)組成測試集。每個子訓(xùn)練集含有1000個樣本，它們均由2001至2005年的200個公司樣本組成。利用特征選擇節(jié)點在每個訓(xùn)練集上選出的變量分別在這15個子樣本上進(jìn)行訓(xùn)練得到子分類器，然后用這些子分類器對測試樣本進(jìn)行分類。采用多數(shù)投票法對子分類器進(jìn)行集成，得到集成方法在測試集上的預(yù)測結(jié)果。

3.4 結(jié)果分析

為了比較集成模型與單個神經(jīng)網(wǎng)絡(luò)預(yù)測準(zhǔn)確率的差異，按照單個神經(jīng)網(wǎng)絡(luò)模型預(yù)測準(zhǔn)確率按升序進(jìn)行排序，分別計算了由7個、9個、11個、13個、15個基神經(jīng)網(wǎng)絡(luò)模型構(gòu)成的集成模型的預(yù)測準(zhǔn)確率，集成模型，不論是由用全部變量進(jìn)行訓(xùn)練得到的基神經(jīng)網(wǎng)絡(luò)構(gòu)建還是由用篩選出的變量進(jìn)行訓(xùn)練得到的構(gòu)建，都顯示出了很高的準(zhǔn)確率，而且得到的預(yù)測準(zhǔn)確率相當(dāng)穩(wěn)定。

4 結(jié)論

本文利用神經(jīng)網(wǎng)絡(luò)集成的方法，以上市公司過去的財務(wù)數(shù)據(jù)和宏觀經(jīng)濟(jì)數(shù)據(jù)為樣本，對上市公司的未來盈利狀況進(jìn)行預(yù)測。研究結(jié)果表明，相比于單個神經(jīng)網(wǎng)絡(luò)模型，盡管選用7個預(yù)測精度最差的單個神經(jīng)網(wǎng)絡(luò)作為基神經(jīng)網(wǎng)絡(luò)，其集成網(wǎng)絡(luò)的預(yù)測準(zhǔn)確率仍然很高，因而集成方法得到的結(jié)果更穩(wěn)定，更具有說服力。

由于上市公司管理水平的差異，影響公司盈利狀況的因素又多，所以要想較好的刻畫它們對盈利狀況的影響，是一個很有挑戰(zhàn)性的問題。本文的研究結(jié)果還表明，采用神經(jīng)網(wǎng)絡(luò)集成方法來研究未來盈利狀況是可行的。進(jìn)一步的研究可以從以下幾個方面考慮：

（1）變量的選取。為了使預(yù)測更為準(zhǔn)確，在建模時，需要考慮更多的影響因素。由于公司盈利狀況跟公司的管理水平直接相關(guān)，因此，如何合理選取量化一些有關(guān)公司治理的指標(biāo)變量，將它們加入到模型中去，是一個值得深入研究的問題。

（2）產(chǎn)生集成神經(jīng)網(wǎng)絡(luò)的方法。除了Bagging方法，還有其他產(chǎn)生集成神經(jīng)網(wǎng)絡(luò)的方法，比如Boosting方法。不同的方法會得到不同的結(jié)果，從而通過比較不同的結(jié)果，可以得到一個用來研究此類問題的最好的方法。

參考文獻(xiàn)：

[1] Lars Kar Hansen， Peter Salamon. Neural network ensembles，IEEE transactions on pattern analysis and machine intelligence，vol.12， pp993-1001， 1990.

[2] Li-Chiu Chia，Tseng-Chung Tang. Artificial neural networks in reorganization outcome and investment of distressed firms： The Taiwanese case， Expert Systems with Applications， vol.29，pp641-652， 2005.

[3] Jiawei Han Micheline Kamber， data mining; concepts and tech-niques（second edition）[M]．北京：機(jī)械工業(yè)出版社，2006．

第5篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

文章通過對比不同種類的預(yù)測模型，找到一種能夠適合預(yù)測寬帶網(wǎng)絡(luò)故障的方法。文中使用動態(tài)神經(jīng)網(wǎng)絡(luò)和自回歸移動平均法來預(yù)測非線性系統(tǒng)，并對結(jié)果進(jìn)行比較，并得到了比較滿意的結(jié)果。對于每個測試用例，相關(guān)參數(shù)都進(jìn)行了調(diào)整以適應(yīng)相應(yīng)的精度要求。

【關(guān)鍵詞】網(wǎng)絡(luò)故障 神經(jīng)網(wǎng)絡(luò) 自回歸移動平均法 非線性系統(tǒng)

1 引言

寬帶電信網(wǎng)絡(luò)現(xiàn)已經(jīng)大規(guī)模的市場化，雖然網(wǎng)絡(luò)服務(wù)的質(zhì)量一直在不斷提高，但是網(wǎng)絡(luò)故障的不斷發(fā)生，仍然是電信運(yùn)營商所必須關(guān)注的問題。網(wǎng)絡(luò)故障最常見的表現(xiàn)是：服務(wù)完全中斷，下行帶寬低，無法訪問網(wǎng)站，撥打VoIP電話時的噪音，無法建立一個電話呼叫等。最能夠反映網(wǎng)絡(luò)服務(wù)質(zhì)量的參數(shù)是MTBF（發(fā)生故障之間的平均時間），減少故障的發(fā)生也就是提高發(fā)生故障之間的平均時間是運(yùn)營商對于網(wǎng)絡(luò)改進(jìn)的重點。國內(nèi)外的運(yùn)營商也正在開發(fā)中運(yùn)營支持系統(tǒng)和業(yè)務(wù)支持系統(tǒng)，目的為了分析大量來自網(wǎng)絡(luò)的可用數(shù)據(jù)。但是由于服務(wù)復(fù)雜度，較長的平均服務(wù)時間和更多終端設(shè)備的實例，與傳統(tǒng)的電話網(wǎng)絡(luò)相比，寬帶接入網(wǎng)絡(luò)的平均故障間隔時間（MTBF）比傳統(tǒng)的非寬帶網(wǎng)絡(luò)低2-6倍，也就是是說網(wǎng)絡(luò)故障發(fā)生的頻率遠(yuǎn)高于傳統(tǒng)的電話網(wǎng)絡(luò)。另一方面，網(wǎng)絡(luò)的復(fù)雜性使得難以準(zhǔn)確地診斷可能會導(dǎo)致更高的重復(fù)數(shù)的問題故障。同時在用戶被引入通過感知和報告故障的隨機(jī)分量的數(shù)量和復(fù)雜性的增加，一個寬帶網(wǎng)絡(luò)中發(fā)生的故障可以看作是一個時間序列。時間系列描述寬帶故障的特點是事件發(fā)生的隨機(jī)性，事件馱有砸約笆錄數(shù)量龐大，這就使得到的時間序列具有較高的過程噪聲。由于監(jiān)視系統(tǒng)的不完善性，時間序列中的噪聲是必然是很多沒有觀察到的變量所導(dǎo)致的。監(jiān)視系統(tǒng)的不完善性表明其預(yù)警的模糊性，不準(zhǔn)確性，同時也可能導(dǎo)致在某些特定的網(wǎng)絡(luò)故障事件發(fā)生時，無法預(yù)警。通過測量噪聲的水平，我們確定了模型中所需的變量和其復(fù)雜度。描述時間序列有兩個相關(guān)的變量，即平穩(wěn)性和線性、非線性。描述寬帶網(wǎng)絡(luò)的時間序列是由于其特性，即高水平的波動多引起的非平穩(wěn)性所決定的。在系統(tǒng)中的變量都是線性的和非線性的，一個時間序列的線性/非線性決定哪種模型會更有效地預(yù)測時間序列的結(jié)果，最終確定的最終實施的最佳模式。線性的時間序列可以使用自回歸模型，例如ARMA或ARIMA來描述，而非線性的時間序列則更適合用神經(jīng)網(wǎng)絡(luò)的非線性激活函數(shù)來描述。本文的目的是為了找到最合適的模型來描述它表征的系統(tǒng)。

2 一個網(wǎng)絡(luò)故障時間序列實例

為了動態(tài)跟蹤和預(yù)測的故障發(fā)生，我們將故障的數(shù)量作為一個時間序列。它被認(rèn)為是一個隨機(jī)序列而不是確定性的序列，也就是說未來的結(jié)果只能進(jìn)行估計，而不能夠精確計算。數(shù)據(jù)收集的頻率依賴于時間序列的性質(zhì)和邏輯，也就是說結(jié)果依賴于所描述的現(xiàn)象。采樣的頻率利用每天，每周，每月和每年的時間序列。運(yùn)營管理中，對于寬帶故障的短期預(yù)測是必不可少的，而長期的預(yù)測是與戰(zhàn)略和長期規(guī)劃相關(guān)。此外，正確選擇的數(shù)據(jù)采集頻率有助于確定數(shù)據(jù)的周期性。寬帶故障有兩個清晰可辨的周期性，每天每周一次。故障發(fā)生模式本質(zhì)上是動態(tài)的，并隨著時間和季節(jié)的變化。每日樣本反映住宅及商業(yè)客戶的工作活動以及之后形成每周模型。本文對每10分鐘，每小時，每天，每周序列進(jìn)行了分析，為實際應(yīng)用提供了足夠的選擇。圖1顯示了一個例子系列描述的是故障發(fā)生在10分鐘的時間間隔，采樣的總時間為2000分鐘。一般情況下，該序列具有可識別的形式，然而像諸如如核心網(wǎng)元發(fā)生故障或雷雨可以顯著影響曲線的形狀和扭曲，使其不可識別。

3 神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)由于其十分強(qiáng)的自適應(yīng)、自學(xué)習(xí)功能，因此經(jīng)常用來預(yù)測不同種類的時間序列。人工神經(jīng)網(wǎng)絡(luò)是一個以有向圖為拓?fù)浣Y(jié)構(gòu)的動態(tài)系統(tǒng)，它通過對連續(xù)或斷續(xù)式的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理。是一個高度復(fù)雜的非線性動力學(xué)系統(tǒng)，不但具有一般非線性系統(tǒng)的共性，更主要的是它還具有自己的特點，比如高維性、神經(jīng)元之間的廣泛互連性以及自適應(yīng)性或自組織性等。

3.1 感知器神經(jīng)網(wǎng)絡(luò)

MLP網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)中研究的一個重點，它們具有很強(qiáng)的分類能力，它能解決模式分布非常復(fù)雜的分類問題。它由三部分組成：一組感知單元（源節(jié)點）組成輸入層、一層計算節(jié)點的隱含層、一層計算節(jié)點的輸出層。第一層的激活函數(shù)為對數(shù)s形函數(shù)，第二層激活函數(shù)為線性函數(shù)。如圖2所示。

3.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種多層前向型網(wǎng)絡(luò)。其神經(jīng)元的傳遞時S型函數(shù)，輸出量為0-1的連續(xù)量，它可以實現(xiàn)輸入到輸出的任意非線性映射。BP神經(jīng)元的傳輸函數(shù)為非線性函數(shù)，常用的函數(shù)為losig函數(shù)和tansig函數(shù)，輸出層則采用線性函數(shù)purelin。如圖3所示。

3.3 NARX神經(jīng)網(wǎng)絡(luò)

NARX神經(jīng)網(wǎng)絡(luò)即Jordan神經(jīng)網(wǎng)絡(luò)是一個能表示動態(tài)系統(tǒng)的網(wǎng)絡(luò)，它把輸入也反饋到網(wǎng)絡(luò)的輸出，這就使加入的狀態(tài)反饋反映到網(wǎng)絡(luò)的動態(tài)性能中。我們的想法得到進(jìn)一步提高在非線性自回歸網(wǎng)絡(luò)與外部輸入，輸出的數(shù)據(jù)是保存在延遲存儲器線。Jordan網(wǎng)絡(luò)的輸出值存儲在網(wǎng)絡(luò)本身的狀態(tài)變量中，而NARX網(wǎng)絡(luò)中，他們存儲在延遲矢量中。如圖4所示。

3.4 ARIMA 模型

ARIMA模型全稱為差分自回歸移動平均模型，是由博克思和詹金斯于70年代初提出的一著名時間序列預(yù)測方法。所謂ARIMA模型，是指將非平穩(wěn)時間序列轉(zhuǎn)化為平穩(wěn)時間序列，然后將因變量僅對它的滯后值以及隨機(jī)誤差項的現(xiàn)值和滯后值進(jìn)行回歸所建立的模型。ARIMA模型根據(jù)原序列是否平穩(wěn)以及回歸中所含部分的不同，包括移動平均過程（MA）、自回歸過程（AR）、自回歸移動平均過程（ARMA）以及ARIMA過程。ARIMA模型的基本思想是：將預(yù)測對象隨時間推移而形成的數(shù)據(jù)序列視為一個隨機(jī)序列，用一定的數(shù)學(xué)模型來近似描述這個序列。這個模型一旦被識別后就可以從時間序列的過去值及現(xiàn)在值來預(yù)測未來值。模型如下圖公式所示。

4 數(shù)據(jù)分析和對比

通過使用均方根誤差和判定系數(shù)，對比實際的數(shù)據(jù)和預(yù)測的數(shù)據(jù)來估算預(yù)測模型的準(zhǔn)確性。

圖5和圖6是對LRN模型和NARX模型預(yù)測的結(jié)果與實際數(shù)據(jù)的對比，從圖形可以直觀看出，這兩個模型具有相對可靠地準(zhǔn)確性。

5 結(jié)束語

本文的主要目的是比較不同的預(yù)測方法對于寬帶網(wǎng)絡(luò)故障的短期和長期預(yù)測。研究的結(jié)果表明動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)優(yōu)于靜態(tài)神經(jīng)網(wǎng)絡(luò)。此外，傳統(tǒng)的預(yù)測方法，ARIMA無法實現(xiàn)神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性預(yù)測，這證實了在電信網(wǎng)絡(luò)中大多數(shù)故障的非線性特征的假說。未來的改進(jìn)方向是應(yīng)用動態(tài)內(nèi)存模型，像NARX和LRN模行，調(diào)節(jié)相應(yīng)的網(wǎng)絡(luò)參數(shù)，另外識別和輸入?yún)?shù)的引入，也將有利于提高模型的準(zhǔn)確性。

參考文獻(xiàn)

[1]陸寧云，何克磊，姜斌，呂建華.一種基于貝葉斯網(wǎng)絡(luò)的故障預(yù)測方法[J].東南大學(xué)學(xué)報自然科學(xué)版，2012，42：87-91.

[2]艾紅，周東華.動態(tài)系統(tǒng)的故障預(yù)測方法[J].華中科大學(xué)學(xué)報：自然科學(xué)版，2009，37：222-225.

[3]吳昕慧.基于神經(jīng)網(wǎng)絡(luò)的鐵路客運(yùn)量優(yōu)化預(yù)測[J].計算機(jī)仿真，2010（10）：168-170.

[4]李楠，曾興雯.基于EMD和神經(jīng)網(wǎng)絡(luò)的時間序列預(yù)測[J].西安郵電學(xué)院學(xué)報，2007（01）：51-54.

[5]汪遠(yuǎn)征，徐雅靜.多元平穩(wěn)時間序列ARIMAX模型的應(yīng)用[J].統(tǒng)計與決策，2007（18）：132-135.

第6篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

關(guān)鍵詞：個性化；信息檢索；文本分類

中圖分類號：TP311文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044(2008)29-0265-02

Method of Text Categorization in Personalized Retrieval

PENG Ye-ping, XIAO Da-guang

(Information science and Engineering college,Central South University,Changsha 416000,China)

Abstract: Personalized retrieval is becoming a hot topic for research， this paper mainly discusses about the text categorization algorithm， its principles and scope of application.

Key words: personalized; retrieval; text categorization

1 引言

搜索引擎在信息檢索中起了重要作用，但是由于引擎的通用性，使其不能滿足不同目的，背景，時期的用戶查詢需求，因此需要針對擁護(hù)特征向用戶提供個性化服務(wù)。文本分類方法通過構(gòu)造某種分類模型，并以此判斷樣本所屬的類別。文本分類對合理組織，存儲文本信息，提高信息檢索速度，提高個性化信息檢索效率的基礎(chǔ)。

2 分類方法

2.1 樸素貝葉斯方法

樸素貝葉斯方法是一種在已知先驗概率與條件的情況下的模式識別方法，假設(shè)詞條之間是相互獨立的。設(shè)d為一任意文本，它屬于文檔類C{c1，c2，…，ck}中的一類Cj，引用詞條和分類的聯(lián)合概率來計算給定文檔的分類概率的公式如下：

計算所有文本類在給定d情況下的概率，概率值最大的那個類就是文本d所屬的類，既：

2.2 貝葉斯網(wǎng)絡(luò)分類法

貝葉斯網(wǎng)絡(luò)分類法考慮了特征之間的依賴關(guān)系，該方法更能真實反映文本的情況，但是計算復(fù)雜度比樸素貝葉斯高的多。

2.3 決策樹方法

決策樹極強(qiáng)的學(xué)習(xí)反義表達(dá)能力使得其適合于文本分類，它是通過一組無序，無規(guī)則的實例推理出樹型的分類規(guī)則，采用自頂向下的遞歸方式，在決策樹的內(nèi)部結(jié)點進(jìn)行屬性值的比較并根據(jù)不同的屬性值進(jìn)行判斷從該結(jié)點向下的分支，在決策樹的葉結(jié)點得到結(jié)論，決策樹的建立算法有很多，文獻(xiàn)[5]其中包括基于信息增益的啟發(fā)式計算ID3；基于信息增益率的解決聯(lián)系屬性的算法C4.5；基于Gini系數(shù)的算法CART和可并行性算法SPRINT算法。決策樹方法特點是使用者只要將訓(xùn)練樣例能夠使用屬性-結(jié)合式的方法表達(dá)出來，就能夠用該方法來學(xué)習(xí)，但是這種算法生成的仍是多叉樹。

2.4 K-鄰近方法

K-鄰近方法，根據(jù)測試文本在訓(xùn)練文本中與之最相近的K篇文本的類別來判定它的類別，其中，K是一個重要的參數(shù)，文獻(xiàn)[4]K值過大，則與待分類文本實際上并不相似的一些文本也被包含，造成噪音增加;K值太小，則不能充分體現(xiàn)待分類文本的特點.一般對K會選定一個初值，相似值的判定可取歐拉距離或余旋相似度等，若分類系統(tǒng)中相似值的計算采用余旋相似度，則公式如下:

Sim(x，di)為相似度公式，X為新文本的向量，y(di，cj)為類別屬性函數(shù)，若d∈cj，則y(di，cj)=1;否則y(di，cj)=0;將新文本分到權(quán)重最大的類別中去。

2.5 支持向量機(jī)

Vapnik提出在結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則理論上的支持向量機(jī)方法，能有效解決小樣本集的機(jī)器學(xué)習(xí)問題，向量機(jī)主要是針對兩類分類問題，在高維空間尋找一個滿足分類要求的最優(yōu)超平作為兩類的分割，既保證分類精確度，又要使超平面兩側(cè)的空白區(qū)域最大化，以保證最小的分類錯誤率，文獻(xiàn)[1]對于大于兩類的多類文本分類，就對每個類構(gòu)造一個超平面，將這一類與其余的類分開，有多個類就構(gòu)造多個超平面，測試時就看哪個超平面最適合測試樣本。支持向量機(jī)方法避免了局部性問題，樣本中的支持向量數(shù)，能夠有效地用于解決高緯問題。

2.6 神經(jīng)網(wǎng)絡(luò)方法

神經(jīng)網(wǎng)絡(luò)是模仿人腦神經(jīng)網(wǎng)絡(luò)的基本組織特性構(gòu)成的新型信息處理系統(tǒng)，其性質(zhì)取決于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，網(wǎng)絡(luò)的權(quán)值和工作規(guī)則.通常由等于樣本特征數(shù)的輸入層，輸出層，等于樣本類數(shù)的神經(jīng)元組成。其中，每一個連接都有一定的權(quán)值，通過訓(xùn)練類來訓(xùn)練的過程就是調(diào)整這些權(quán)值的過程，從而使神經(jīng)網(wǎng)絡(luò)與可以正確地預(yù)測類別。

3 幾種方法的比較

3.1 樸素貝葉斯與網(wǎng)絡(luò)貝葉斯

樸素貝葉斯方法使用概率去表示所有形式的不確定性，學(xué)習(xí)或其他形式的推理都用概率規(guī)則來實現(xiàn)，但是大部分情況是文本特征之間的依賴關(guān)系是相互存在的，所以特征獨立性會影響樸素貝葉斯分類的結(jié)果；網(wǎng)絡(luò)貝葉斯能夠考慮特征之間的依賴關(guān)系，但是計算復(fù)雜度比樸素貝葉斯高得多；

3.2 支持向量機(jī)方法

支持向量機(jī)方法的優(yōu)點：首先，該方法是針對有限樣本情況的分類方法，其算法最終將轉(zhuǎn)化為一個二次型尋優(yōu)萬惡提，理論上得到的將是全局最優(yōu)點，避免了局部極值問題；其次，該方法計算的復(fù)雜度不再取決于空間維度，而是取決于樣本數(shù)，這可能有效地用于解決高維度問題；再次，該方法對稀疏數(shù)據(jù)不敏感，能更好地捕捉數(shù)據(jù)的內(nèi)在特征。缺點是：該方法參數(shù)的調(diào)整比較困難，分類比較費(fèi)時。

3.3 神經(jīng)網(wǎng)絡(luò)方法

神經(jīng)網(wǎng)絡(luò)方法的優(yōu)點：首先，具有自適應(yīng)功能，它能根據(jù)所提供的數(shù)據(jù)，通過學(xué)習(xí)找出輸出結(jié)果之間的內(nèi)在聯(lián)系，從而球的問題的解答；其次，神經(jīng)網(wǎng)絡(luò)善于聯(lián)想、概括、類比和推廣，任何局部的操作都不會影響整體效果；再次，具有高速尋找優(yōu)化解的能力。缺點：該方法根據(jù)輸入輸出的關(guān)系訓(xùn)練網(wǎng)絡(luò)，缺少解釋能力，受訓(xùn)練樣本影響大，訓(xùn)練過程較慢，不適應(yīng)大量數(shù)據(jù)的學(xué)習(xí)。

3.4 決策樹方法

決策樹方法的優(yōu)點是它在學(xué)習(xí)過程中不需要使用者了解很多背景知識，只要訓(xùn)練樣例能夠使用屬性-結(jié)論式的方法表示出來，就能使用該方法。缺點是測試屬性的選擇對該方法影響較大。

3.5 K-鄰近方法

K-鄰近方法的優(yōu)點是該方法訓(xùn)練過程較快，且可隨時添加或更新訓(xùn)練文本來調(diào)整；缺點是因為需要很大的空間來保存文本，所以它分類的開銷很大，K值確定較慢，分類效果較差.

4 文本分類方法效果評價

1） 精確度（查全率）：是指通過分類系統(tǒng)正確分類的文本數(shù)與實際分類的文本數(shù)的比值，其公式如下：

精確度：=

2） 召回率(查全率)：是指通過分類系統(tǒng)正確分類的文本數(shù)與人工分類中應(yīng)有的文本數(shù)的比值，公式如下：

召回率：=

3） F1測試值：對查權(quán)率和查準(zhǔn)綠的綜合測試

F1測試值：=

參考文獻(xiàn)：

[1] 史忠植.知識發(fā)現(xiàn)[M].北京:清華大學(xué)出版,2002.

[2] 朱明.數(shù)據(jù)挖掘[M].合肥:中國科技大學(xué)出版社,2002.

[3] 王繼成,潘金貴,張福炎.web文本挖掘技術(shù)研究[J].計算機(jī)研究與發(fā)展,2000,37(5):513-520.

第7篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

清河水庫位于遼寧省鐵嶺市清河區(qū)境內(nèi),遼河左岸支流清河偏下游處。是一座以防洪、灌溉、工業(yè)供水為主,兼養(yǎng)魚、旅游等綜合利用多年調(diào)節(jié)的大型水利樞紐工程。水庫已安全運(yùn)行了50年,在防洪、興利等方面取得了顯著的經(jīng)濟(jì)效益和巨大的社會效益。

洪水分類預(yù)報是針對洪水典型過程代表性的不足,通過降雨成因和聚類分析,確定不同類別洪水預(yù)報參數(shù)的優(yōu)選方法。清河水庫根據(jù)現(xiàn)代洪水預(yù)報所存在的問題,結(jié)合工程實際,采用當(dāng)前先進(jìn)的分類預(yù)報方法,在流域長系列資料中將預(yù)報誤差較大的洪水提出來,根據(jù)其成因不同,采用人工神經(jīng)網(wǎng)絡(luò)分類,利用遺傳算法參數(shù)優(yōu)選,然后根據(jù)洪水特征,選擇不同的模型參數(shù)和規(guī)則進(jìn)行洪水調(diào)度,從而提高了水庫預(yù)報調(diào)度精度,并與先進(jìn)的計算機(jī)技術(shù)結(jié)合,集成到防洪調(diào)度系統(tǒng)中去,使其具有可行性、外延性和推廣性,從而取得顯著的經(jīng)濟(jì)效益和社會效益。本文就人工神經(jīng)網(wǎng)絡(luò)在清河水庫洪水分類預(yù)報中的應(yīng)用作以介紹。

一、人工神經(jīng)網(wǎng)絡(luò)的基本原理

人工神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元廣泛互連而成的網(wǎng)絡(luò)系統(tǒng),用以模擬人腦的行為。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出來的,是一種全新的模擬人類智能的方法和技術(shù)。目前,世界上已有50余種神經(jīng)網(wǎng)絡(luò)計算模型,這些模型大體上可以分為三類,即:前饋網(wǎng)絡(luò)(Feedforward NNS)、反饋網(wǎng)絡(luò)(Feedback NNS)和自組織網(wǎng)絡(luò)(Self-Organizing NNS) 。

多層神經(jīng)網(wǎng)絡(luò)能夠以任意精度逼近任意連續(xù)的非線性映射程的前提是在網(wǎng)絡(luò)任意大的情況下成立。對于給定的問題,網(wǎng)絡(luò)的層數(shù)取決于問題的要求,同時直接影響其推廣能力。對于用于分類的BP模型,選用3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),具體的訓(xùn)練算法分別采用標(biāo)準(zhǔn)的BP算法、動量法、基于動量法的自適應(yīng)調(diào)整學(xué)習(xí)率的策略、擬牛頓法的BFGS法、共軛梯度法的Polak-Ribievre(簡稱P-R)法以及Leveberg-Marquardt(簡稱L-M)法。其輸入層節(jié)點數(shù)與輸入的特征數(shù)相同;輸出層節(jié)點數(shù)與分類類別數(shù)相同;隱含層節(jié)點數(shù)視問題的復(fù)雜度經(jīng)試驗確定。一般確定隱節(jié)點數(shù)的方法采用“試錯法”(Trail-and-Error);先設(shè)定一個數(shù)為隱節(jié)點數(shù),如果訓(xùn)練誤差不能下降到所需范圍就增加節(jié)點數(shù)。如果誤差已經(jīng)很小而分類效果依然很差,說明隱節(jié)點數(shù)過多,此時需適當(dāng)減少隱節(jié)點數(shù)。這樣經(jīng)過訓(xùn)練合格后的BP模型就是一個分類器,可以對輸入樣本進(jìn)行分類,這種分類器適于離線或在線分類。

Back-Propagation(反向傳播,簡稱BP算法)是目前研究最多的算法之一。BP神經(jīng)網(wǎng)絡(luò)通常有一個或多個隱含層,含有一個隱含層的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1中,R代表輸入層有R個分量的輸入向量,Q為樣本數(shù),P為輸入矩陣,W1、W2、b1、b2、a1、a2、s1、s2、n1、n2分別為隱含層和輸出層神經(jīng)元的權(quán)重矩陣、閾值向量、輸出向量、神經(jīng)元數(shù)及加權(quán)和向量。

在基本結(jié)構(gòu)確定后,就可利用輸入輸出樣本集對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。BP算法的訓(xùn)練就是對網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行學(xué)習(xí)和調(diào)整,使網(wǎng)絡(luò)實現(xiàn)給定的輸入輸出映射關(guān)系。BP算法實質(zhì)上是把一組樣本輸入輸出問題轉(zhuǎn)化為一個非線性優(yōu)化問題,并通過梯度算法利用迭代運(yùn)算求解權(quán)值問題的一種學(xué)習(xí)算法。已經(jīng)證明,具有sigmoid非線性函數(shù)的三層神經(jīng)網(wǎng)絡(luò)可以任意逼近任何連續(xù)函數(shù)。其學(xué)習(xí)過程包括誤差正向傳播和反向傳播兩個過程。在正向傳播過程中,輸入信息從輸入層經(jīng)隱含層逐層處理,并傳向輸出層,每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果輸出層不能得到期望的輸出,則轉(zhuǎn)入反向傳播,將誤差信號沿原來的路徑返回。通過反復(fù)修改各層神經(jīng)元的權(quán)值和閾值,使誤差最小。

二、BP算法在清河水庫洪水預(yù)報分類中的應(yīng)用

洪水過程具有高度復(fù)雜性、模糊性和隨機(jī)性,但同時又表現(xiàn)出自身的規(guī)律性。對洪水進(jìn)行模糊聚類分析,尋找同類型洪水的規(guī)律,以便將參數(shù)分類調(diào)試和洪水分類預(yù)報有機(jī)地結(jié)合起來,提高預(yù)報精度。在分析模糊ISODATA聚類不適合大樣本和實時在線分類的不足的基礎(chǔ)之上,BP算法和ANN模型解決洪水的分類問題是可行的,還具有良好的外延性和推廣性。

本文選用圖1的3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),具體的訓(xùn)練算法分別采用上面提及的標(biāo)準(zhǔn)的BP算法、動量法、基于動量法的自適應(yīng)調(diào)整學(xué)習(xí)率的策略、擬牛頓法的BFGS法、共軛梯度法的Polak-Ribievre(簡稱P-R)法以及Leveberg-Marquardt(簡稱L-M)法。選取清河水庫從1964年至2004年41年的38場洪水按傳統(tǒng)預(yù)報方法進(jìn)行重新計算,在這38場洪水中,用隨機(jī)函數(shù)隨機(jī)取出28場洪水作為分析資料,其他10場洪水留作檢驗用。由于在清河水庫歷史洪水資料中,降雨時期的天氣情況資料不完整,所以只考慮流域平均降雨量、前期影響雨量、降雨強(qiáng)度、降雨時空特征四個因子。

第8篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

關(guān)鍵詞：多移動機(jī)器人;未知環(huán)境;導(dǎo)航;智能算法

1.引言

移動機(jī)器人的研究始于20世紀(jì)60年代末期，目的是研究人工智能技術(shù)及在復(fù)雜環(huán)境下機(jī)器人系統(tǒng)的自主推理和規(guī)劃能力。本文從多個方面對移動機(jī)器人的導(dǎo)航進(jìn)行了深入的系統(tǒng)研究，其主要的內(nèi)容和成果如下：從移動機(jī)器人的歷史和現(xiàn)狀出發(fā)，對比了國內(nèi)外的不同發(fā)展?fàn)顩r，對移動機(jī)器人導(dǎo)航領(lǐng)域的研究方向進(jìn)行了綜述。著重介紹了移動機(jī)器人導(dǎo)航中常用的方法，對其中的人工勢能場法、神經(jīng)網(wǎng)絡(luò)、遺傳算法和模糊控制進(jìn)行了逐一的分析闡述，最后綜述結(jié)尾對全文進(jìn)行了總結(jié)并對移動機(jī)器人導(dǎo)航研究進(jìn)行了展望。

2.移動機(jī)器人的幾種導(dǎo)航方式

移動機(jī)器人導(dǎo)航是指移動機(jī)器人通過傳感器感知環(huán)境和自身狀態(tài)，實現(xiàn)在有障礙物的環(huán)境中面向目標(biāo)的自主運(yùn)動。我們可以將移動機(jī)器人所處的環(huán)境分成以下幾個研究方向：1）完全已知環(huán)境：機(jī)器人知道所在工作環(huán)境的所有信息，包括目標(biāo)點的位置，方向，障礙物的位置和方向;2）部分已知環(huán)境：機(jī)器人知道所在工作環(huán)境中的部分信息，比如知道一部分障礙物的位置和方向，有另外一部分環(huán)境是不知道的;3）完全未知環(huán)境：機(jī)器人完全不知道所在工作環(huán)境的信息，只知道目標(biāo)點的方向和位置，其它障礙物的信息是一點都不知道。

目前，機(jī)器人導(dǎo)航要解決的關(guān)鍵問題表現(xiàn)為以下三個方面[1]：

1）通過一定的檢測手段獲取移動機(jī)器人在空間中的位置、方向以及所處環(huán)境的信息;

2）用一定的算法對所獲信息進(jìn)行處理并建立環(huán)境模型;

3）尋找一條最優(yōu)或近似最優(yōu)的無碰路徑，實現(xiàn)移動機(jī)器人安全移動的路徑規(guī)劃。

目前，移動機(jī)器人導(dǎo)航有很多方法，常用的方法有：人工勢能場法、神經(jīng)網(wǎng)絡(luò)、遺傳算法和模糊控制等，下面本文將對這幾種常用的方法進(jìn)行分析比較。

2.1 基于人工勢能場法（APF）的移動機(jī)器人導(dǎo)航

人工勢場法[1，2]是Khatib提出的一種虛擬力法。人工勢場法是傳統(tǒng)算法中較成熟且高產(chǎn)的規(guī)劃方法，其基本思想是將移動機(jī)器人在環(huán)境中的運(yùn)動視為一種虛擬人工受力場中的運(yùn)動。障礙物對移動機(jī)器人產(chǎn)生斥力，目標(biāo)點產(chǎn)生引力，引力和斥力周圍由一定的算法產(chǎn)生相應(yīng)的勢，機(jī)器人在勢場中受到抽象力作用，抽象力使得機(jī)器人繞過障礙物。該法結(jié)構(gòu)簡單，便于低層的實時控制，在實時避障和平滑的軌跡控制方面，得到了廣泛應(yīng)用。

高云峰等[3]針對勢場原理所固有的幾個缺陷進(jìn)行了改進(jìn)，使改進(jìn)后的勢場法適用于未知復(fù)雜環(huán)境下移動機(jī)器人的導(dǎo)航，具備一定的學(xué)習(xí)能力，并通過仿真實驗驗證了該方法的有效性。王肖青等[4]討論了傳統(tǒng)的人工勢能場方法的不足，并提出了一種改進(jìn)的人工勢能場方法。王奇志等[5]提出了一種改進(jìn)的人工勢場法，通過排除一個距機(jī)器人最遠(yuǎn)的障礙物，同時加一個同等大小反方向力來消除零勢能點，從而實現(xiàn)消除零勢能域，達(dá)到多障礙物情況下機(jī)器人運(yùn)動規(guī)劃的快速、實時、避障的效果，結(jié)果表明，該算法對多個障礙物和非靜態(tài)的障礙物同樣適用。

人工勢場法突出的優(yōu)點是系統(tǒng)的路徑生成與控制直接與環(huán)境實現(xiàn)了閉環(huán)，從而大大加強(qiáng)了系統(tǒng)的適應(yīng)性與避障性能。但是人工勢場法也存在幾個主要的缺陷：1）陷阱區(qū)域;2）在相近的障礙物之間不能發(fā)現(xiàn)路徑;3）在障礙物前振蕩;4）在狹窄通道中擺動;針對這些缺陷，提出了一些改進(jìn)辦法。對于人工勢場法存在“機(jī)器人在到達(dá)目標(biāo)位置前由于陷入局部極小點而無法到達(dá)目標(biāo)位置”的問題，解決的方法有：重新定義勢函數(shù)，使之沒有或有更少的局部極小點;利用搜索算法跳出局部極小點;還可以利用模擬退火算法使勢函數(shù)跳出局部極小點，到達(dá)機(jī)器人的目標(biāo)位置。

2.2 基于神經(jīng)網(wǎng)絡(luò)的移動機(jī)器人導(dǎo)航

神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的適應(yīng)復(fù)雜環(huán)境和多目標(biāo)控制要求的自學(xué)習(xí)能力，并具有以任意精度逼近任意非線性函數(shù)的特點，神經(jīng)網(wǎng)絡(luò)可與其他控制方法如專家系統(tǒng)、模糊控制等相結(jié)合，為其提供非參數(shù)化的對象模型、推理模型等。

近年來神經(jīng)網(wǎng)絡(luò)在移動機(jī)器人導(dǎo)航領(lǐng)域得到越來越廣泛的應(yīng)用。Zhang等[6]利用移動機(jī)器人在未知雜亂的環(huán)境中基于神經(jīng)網(wǎng)絡(luò)和模糊邏輯的反應(yīng)式導(dǎo)航原理，提出了一種新的方法，即提供一條指導(dǎo)命令使移動機(jī)器人避免內(nèi)部碰撞及與障礙物相撞，說明了如何使用ART神經(jīng)網(wǎng)絡(luò)在感知空間分區(qū)中控制移動機(jī)器人，如何為反應(yīng)式導(dǎo)航的移動機(jī)器人建立一個三維的模糊控制器，并通過實驗?zāi)M，證明了這種方法能夠很好地適應(yīng)這種未知雜亂的環(huán)境。Zhu等[7]提出了一種基于模糊神經(jīng)網(wǎng)絡(luò)將傳感器信息與機(jī)器人的移動結(jié)合起來的導(dǎo)航方法，這種方法可以使移動機(jī)器人充分感受周圍環(huán)境、自主避開靜態(tài)和動態(tài)障礙物，并在不同情況下避開“死循環(huán)”產(chǎn)生到達(dá)目標(biāo)的合理的軌跡。通過仿真證明了該方法的實用性和有效性。Yang等[8]提出了一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這是一個有序的離散拓?fù)浣Y(jié)構(gòu)，用支路神經(jīng)網(wǎng)絡(luò)模型為移動機(jī)器人進(jìn)行路徑規(guī)劃，分流利用。Meng等[9]使用生物激勵神經(jīng)網(wǎng)絡(luò)的方法，使移動機(jī)器人在動態(tài)環(huán)境中實現(xiàn)動態(tài)無碰撞。Millan[10]提出了一種強(qiáng)化學(xué)習(xí)的結(jié)構(gòu)模型，使移動機(jī)器人在經(jīng)過一定的嘗試后獲得導(dǎo)航的策略。為了避免簡單的模糊反應(yīng)式方法帶來的兩大隱患，即從陷阱的情況下逃脫以及if-then規(guī)則的推理機(jī)制組合爆炸。盡管神經(jīng)網(wǎng)絡(luò)在很多復(fù)雜度很高的問題上取得了很好的效果，但在使用時有幾點需要注意：1）神經(jīng)網(wǎng)絡(luò)很難解釋，目前還沒有能對神經(jīng)網(wǎng)絡(luò)做出顯而易見解釋的方法學(xué);2）神經(jīng)網(wǎng)絡(luò)會學(xué)習(xí)過度，這主要是由于神經(jīng)網(wǎng)絡(luò)太靈活、可變參數(shù)太多，如果給足夠的時間，他幾乎可以“記住”任何事情，因此在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時一定要恰當(dāng)?shù)氖褂靡恍┠車?yán)格衡量神經(jīng)網(wǎng)絡(luò)的方法;3）訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)可能需要相當(dāng)可觀的時間才能完成，除非問題非常簡單。當(dāng)然，一旦神經(jīng)網(wǎng)絡(luò)建立好了，在用它做預(yù)測時運(yùn)行時還是很快的;4）建立神經(jīng)網(wǎng)絡(luò)需要做的數(shù)據(jù)準(zhǔn)備工作量很大。

2.3 基于遺傳算法的移動機(jī)器人導(dǎo)航

遺傳算法是由美國的J.Holland教授于1975年在他的專著《自然界和人工系統(tǒng)的適應(yīng)性》中首先提出的，它本質(zhì)上是對染色體模式所進(jìn)行的一系列運(yùn)算，即通過選擇算子將當(dāng)前種群中的優(yōu)良模式遺傳到下一代種群中，利用交叉算子進(jìn)行模式重組，利用變異算子進(jìn)行模式突變。通過這些遺傳操作，模式逐步向較好的方向進(jìn)化，最終得到問題的最優(yōu)解。

張文志等[11]給出了一種用遺傳算法學(xué)習(xí)模糊規(guī)則以完成移動機(jī)器人導(dǎo)航的方法，采用了變長度編碼方法和競爭型小生境遺傳算法，減少了染色體的尺寸和復(fù)雜度，同時提高了學(xué)習(xí)速度。Nishida等[12]利基于神經(jīng)元系統(tǒng)提出了一種預(yù)測機(jī)器人伙伴感知的控制方法，該預(yù)測方法對于減少計算量、提取感知信息是非常重要的。龔濤等[13]分析了未知遠(yuǎn)程環(huán)境下移動機(jī)器人導(dǎo)航過程中進(jìn)化學(xué)習(xí)的效率和知識更新問題，提出了并行進(jìn)化模型來解決此問題。Hu等[14]提出了一種基于遺傳算法的移動機(jī)器人路徑規(guī)劃，即使用具體的遺傳算法來解決機(jī)器人的路徑規(guī)劃問題。這種遺傳算法結(jié)合了專門的領(lǐng)域知識及本地搜索技術(shù)的知識，是一種獨特而簡單的路徑表示，具有簡單而有效的特點。現(xiàn)有多機(jī)器人協(xié)作構(gòu)建地圖的方法對環(huán)境和機(jī)器人位置信息有著較高要求，因而在實際應(yīng)用中存在一定局限性，Kala等[15]在文中提出了遺傳算法在移動機(jī)器人導(dǎo)航中的應(yīng)用，使機(jī)器人可用于業(yè)界派調(diào)查，數(shù)據(jù)采集等，移動機(jī)器人可以在動態(tài)環(huán)境中避免內(nèi)部碰撞證明了這種算法的有效性。

3.展望

目前，移動機(jī)器人導(dǎo)航技術(shù)已經(jīng)取得了很好的研究成果。計算機(jī)技術(shù)、電子技術(shù)、通信技術(shù)、傳感器技術(shù)、控制技術(shù)、網(wǎng)絡(luò)技術(shù)地迅猛發(fā)展必將推動和促進(jìn)移動機(jī)器人導(dǎo)航技術(shù)取得更多的研究成果。移動機(jī)器人導(dǎo)航技術(shù)的發(fā)展有以下幾方面的趨勢：（1）視覺導(dǎo)航具有信息量大、探測范圍廣等特點，仍然是移動機(jī)器人導(dǎo)航技術(shù)的主要發(fā)展方向;（2）導(dǎo)航系統(tǒng)結(jié)構(gòu)將朝著分布式、模塊化、網(wǎng)絡(luò)化、多機(jī)器人協(xié)作的方向發(fā)展。分布式和模塊化的結(jié)構(gòu)有利于減少機(jī)器人的體積和自重。通過互聯(lián)網(wǎng)實現(xiàn)機(jī)器人的遠(yuǎn)程操作以及基于網(wǎng)絡(luò)的多機(jī)器人協(xié)作是導(dǎo)航技術(shù)的新的研究熱點;（3）路徑規(guī)劃將朝著多層規(guī)劃和多方法相結(jié)合的方向發(fā)展。采用基于反應(yīng)式的行為規(guī)劃與基于慎思行為規(guī)劃相結(jié)合的方法。全局路徑規(guī)劃和局部路徑規(guī)劃相結(jié)合更有利于復(fù)雜環(huán)境的避障規(guī)劃;（4）新技術(shù)、新方法（如，虛擬現(xiàn)實技術(shù)、信息融合新方法、新型傳感器等）將促進(jìn)移動機(jī)器人導(dǎo)航技術(shù)更快地發(fā)展。

參考文獻(xiàn)：

[1]王志文，郭戈.移動機(jī)器人導(dǎo)航技術(shù)現(xiàn)狀與展望[J].機(jī)器人，2003，25（5）：193-197.

[2]徐秀娜，賴汝.移動機(jī)器人路徑規(guī)劃技術(shù)的現(xiàn)狀與發(fā)展.計算機(jī)仿真.2006.10

[3]高云峰，黃海.復(fù)雜環(huán)境下基于勢場原理的路徑規(guī)劃方法[J].機(jī)器人，2004，26（2）：114-118

[4]王肖青，王奇志.傳統(tǒng)人工勢場的改進(jìn)[J].計算機(jī)技術(shù)與發(fā)展，2006，16（4）：96-98.

[5]王奇志，基于改進(jìn)人工勢場法的多障礙機(jī)器人運(yùn)動控制，北京交通大學(xué)計算機(jī)學(xué)院，北京 100044.

[6]M.Zhang，S.Peng，and Q.Meng，Neural network and fuzzy logic techniques based collision avoidance for a mobile robot，Robotica，1997：627C632.

[7]A.Zhu and S.X.Yang，Neurofuzzy-based approach to mobile robot navigation in unknown environments，IEEE Trans.Syst.Man，Cybern.C.2007，37（4）：610-621.

[8]S.X.Yang and Q.-H.M.Meng，Real-time collision-freemotion planning of mobile robots using neural dynamics based approaches，IEEE Trans.Neural Netw.2003，14（6）：1541-1552.

[9]X.Yang and M.Meng，Neural network approaches to dynamic collision-free robot trajectory generation，IEEE Trans.Syst.Man，Cybern.2001，31：302-318.

[10]J.del R.Millan.Rapid，Safe and Incremental Learning of Navigation Strategies[J].IEEE Trans.on SMC-Part B，1996，26（3）：408-420.

[11]張文志，呂恬生.基于改進(jìn)的遺傳算法和模糊邏輯控制的移動機(jī)器人導(dǎo)航[J].機(jī)器人，2003，25（1）：1-6.

[12]N.Kubota and K.Nishida，Perceptual control based on prediction for natural communication of a partner robot，IEEE Trans.Ind.Electron.2007，54（2）：866C877.

[13]龔濤，蔡自興.未知遠(yuǎn)程環(huán)境下移動機(jī)器人導(dǎo)航的并行進(jìn)化模型[J].機(jī)器人，2003，25（3）：470～474.

[14]Y.Hu，S.X.Yang，A knowledge based genetic algorithm for path planning of a mobile robot，in：Proceedings of the 2004 IEEE International Conference on Robotics and Automation.2004：4350 - 4355.

第9篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

【摘要】 目的建立高效準(zhǔn)確的穿心蓮樣品識別模型，為進(jìn)行質(zhì)量控制提供參考。方法收集不同產(chǎn)地的12個穿心蓮藥材樣品的指紋圖譜，提取4個主成分利用LM-BP神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識別。結(jié)果建立了穿心蓮藥材指紋圖譜的LM-BP神經(jīng)網(wǎng)絡(luò)模型，經(jīng)過對不同產(chǎn)地穿心蓮的識別，證明其有較好的識別功能。結(jié)論LM-BP算法在識別速度和精度上都比傳統(tǒng)BP算法有了較大提高。

【關(guān)鍵詞】 LM-BP神經(jīng)網(wǎng)絡(luò) 穿心蓮 指紋圖譜

為了更全面地檢測各種成分在藥材中分布的全貌，評價藥材質(zhì)量，促進(jìn)優(yōu)質(zhì)中成藥的生產(chǎn)，對中藥品種的分類識別是一個首要環(huán)節(jié)［1］。我國中藥材產(chǎn)地多，資源豐富、品種繁多、來源復(fù)雜，單憑傳統(tǒng)的經(jīng)驗鑒別容易造成失誤，而隨著計算機(jī)技術(shù)發(fā)展和模式識別算法的提出和改進(jìn)，利用中藥指紋圖譜進(jìn)行中藥材鑒定已經(jīng)取得了長足發(fā)展。由于中藥指紋圖譜含有大量信息，形成一個巨大的多維信息庫，且同時存在一些噪聲干擾而真?zhèn)坞y辨等，因此如何提高中藥指紋圖譜的識別效率，獲取更多有用的數(shù)據(jù)信息成為亟待解決的問題。本研究結(jié)合Levenberg-Marquardt算法與BP神經(jīng)網(wǎng)絡(luò)技術(shù)，提取不同產(chǎn)地批次的穿心蓮中藥指紋圖譜的特征空間信息，利用Matlab7.0軟件編程建立高效準(zhǔn)確的穿心蓮樣品識別系統(tǒng)。

1 材料與儀器

1.1 樣品來源 12批穿心蓮藥材樣品由廣東省中藥研究所提供，經(jīng)廣州華南植物研究所陳炳輝研究員鑒定為穿心蓮Andrographis paniculata(Burm．f.)Nees，其中4批產(chǎn)自江西，5批來自廣東，福建3批。

1.2 試劑 乙腈(色譜純)，甲酸(分析純)，二次蒸餾水(自制)。

1.3 儀器Agilent四元泵高效液相色譜儀、SPD210A紫外檢測器，LC210ATVP輸液泵、UV24802型紫外可見分光光度計，AR2140電子分析天平。

2 方法

2.1 色譜分析條件 Phenomsil ODS柱( 250 mm ×4.6 mm，5 μm)，0.1%甲酸乙腈(A)與0.2%甲酸(B)梯度洗脫：0～20 min(20%A-80%B)，20～40 min(30%A -70%B)，40～55 min(40%A -60%B)，55～60 min(85%A-15%B)。流速1.0 ml/min，柱溫25。C，檢測波長254 nm，進(jìn)樣量10 μl，所有組分均在60 min內(nèi)被洗脫。

2.2 對照品溶液的制備精密稱取穿心蓮內(nèi)酯、脫水穿心蓮內(nèi)酯、新穿心蓮內(nèi)酯和脫氧穿心蓮內(nèi)酯對照品適量，用50%甲醇配制成1.0 mg/ml的對照品溶液。

2.3 供試品溶液的制備　取各批干燥的穿心蓮藥材2.0 g，粉碎，過40目，用20 ml 85%的乙醇回流提取兩次，2 h/次，過濾，合并濾液，回收乙醇，濾液濃縮至干，再加50%甲醇使其充分溶解，置10ml量瓶中稀釋至刻度，作為供試品溶液。

2.4 方法學(xué)考察

2.4.1 精密度實驗取供試品溶液(樣品1)，連續(xù)進(jìn)樣6次，各主要色譜峰的相對保留時間和相對峰面積比值的RSD均小于3.0%，表明儀器精密度良好。

2.4.2 穩(wěn)定性實驗取供試品溶液(樣品1)分別在0，1，2，4，12，24 h進(jìn)樣測定，各主要色譜峰的相對保留時間和相對峰面積比值的RSD均小于3.0%，表明樣品在24 h內(nèi)穩(wěn)定。

2.4.3 重復(fù)性實驗取穿心蓮藥材(樣品1)，按“2.3”項下的方法分別制備供試品溶液6份，進(jìn)樣檢測，結(jié)果各主要色譜峰的相對保留時間和相對峰面積比值的RSD均小于3.0%，表明方法的重復(fù)性良好。

2.5 模式識別方法

2.5.1 模式識別和BP神經(jīng)網(wǎng)絡(luò)模式識別作為一個研究領(lǐng)域，迅速發(fā)展于20世紀(jì)60年代，它是一門以應(yīng)用數(shù)學(xué)為理論基礎(chǔ)，利用計算機(jī)應(yīng)用技術(shù)，解決實際分類及識別問題的學(xué)問［2］。

神經(jīng)網(wǎng)絡(luò)是一種模擬人腦功能的成熟的模式識別方法，它借鑒了人腦神經(jīng)系統(tǒng)處理信息的過程，以數(shù)學(xué)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為理論基礎(chǔ)，其中BP神經(jīng)網(wǎng)絡(luò)是迄今為止應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)［3］。

BP神經(jīng)網(wǎng)絡(luò)是一種有監(jiān)督的學(xué)習(xí)算法，它的特點是同一層內(nèi)的神經(jīng)元不連接，在整個信號傳遞過程中不存在任何信號反饋；輸入層用于信號分配和傳遞，不具備運(yùn)算功能；隱含層和輸出層的神經(jīng)元具有運(yùn)算功能，可輸出最終運(yùn)算結(jié)果。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程有正向與反向兩個過程，在正向傳播過程中，輸入信息從輸入層經(jīng)過隱含層傳向輸出層，若不能得到預(yù)期輸出，則轉(zhuǎn)為反向傳播，將信號沿原來的連接通道返回并修改各層節(jié)點間的權(quán)值，經(jīng)過反復(fù)調(diào)試，使得誤差信號小于某個閾值或等于0，此時訓(xùn)練結(jié)束。經(jīng)過訓(xùn)練的網(wǎng)絡(luò)則可將系統(tǒng)規(guī)則、預(yù)測能力等隱含在網(wǎng)絡(luò)中，只需將測試樣本輸入則可給出處理結(jié)果。

2.5.2 Levenberg-Marquardt算法改進(jìn)的BP算法BP神經(jīng)網(wǎng)絡(luò)的常規(guī)算法在實際應(yīng)用還存在一些需要改進(jìn)的問題，例如網(wǎng)絡(luò)學(xué)習(xí)收斂速度慢，容易陷入局部極小等。而L-M算法是專門用于誤差平方和最小化的方法，它在網(wǎng)絡(luò)訓(xùn)練速度和識別精度上的具有明顯的優(yōu)勢［4］，因此本研究采用L-M算法對標(biāo)準(zhǔn)的BP算法進(jìn)行改進(jìn)。

設(shè)BP神經(jīng)網(wǎng)絡(luò)的誤差指標(biāo)函數(shù)為：

E(x)=12?Ni=1Yi-Y＾i2=12?Ni=1e2i(x)

其中，Yi為實際輸出向量， Y＾i為預(yù)期的輸出向量， ei(x)為誤差。

設(shè)xk表示第k次迭代的權(quán)值和閾值組成的向量，新的權(quán)值和閾值組成的向量xk+1表示為：

xk+1=xk+x，x=［JT(x)J(x)=μI］-1J(x)e(x)

其中， J(x)為網(wǎng)絡(luò)訓(xùn)練誤差e(x)的Jacobian矩陣， I為單位矩陣， μ>0。

L-M算法的流程：①給出訓(xùn)練誤差允許值ε，常數(shù)β和μ0，初始化權(quán)值和閾值向量k=0，μ=μ0。② 計算網(wǎng)絡(luò)輸出及誤差指標(biāo)函數(shù)E(xk)。 ③計算Jacobian矩陣J（x)。④計算x 。⑤如果E(xk)＜?，則轉(zhuǎn)到⑥，否則以xk+1=xk+x為權(quán)值和閾值向量計算誤差指標(biāo)函數(shù)E(xk+1)，若E(xk+1)＜E(xk)，則令k=k+1，μ=μ/β，轉(zhuǎn)到②；否則令μ=μβ，轉(zhuǎn)到④。⑥結(jié)束。

當(dāng)μ=0時，L-M算法即高斯-牛頓法，當(dāng)μ取值很大時，則越接近梯度下降法。在實踐中，它具有二階收斂速度，所需要的迭代次數(shù)很少，既具備牛頓法的局部收斂特性，又有梯度下降算法的全局特性。因此，L-M算法提供了一種快速有效的訓(xùn)練手段，其算法計算復(fù)雜度為O(n3/6) 。

2.6 指紋圖譜的建立和分析

2.6.1 穿心蓮的指紋圖譜　按照上述方法，分別對12批穿心蓮藥材進(jìn)行分析，制作了穿心蓮藥材的HPLC指紋圖譜，并計算出其穿心蓮內(nèi)酯、脫水穿心蓮內(nèi)酯、新穿心蓮內(nèi)酯和脫氧穿心蓮內(nèi)酯的含量。

2.6.2 資料預(yù)處理 為消除由于數(shù)據(jù)變換的幅度和范圍以及數(shù)據(jù)分布的非正態(tài)性對結(jié)果的影響，先將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化變換。

2.6.3 LM-BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練測試結(jié)果本實驗所采用的3層LM-BP網(wǎng)絡(luò)中，輸入節(jié)點數(shù)為4，即原始數(shù)據(jù)經(jīng)特征提取后的4個主成分，隱含層節(jié)點數(shù)為4，輸出層有1個節(jié)點。由于目前仍無系統(tǒng)的關(guān)于中間隱層節(jié)點數(shù)的選取理論，經(jīng)多次實驗比較，最終選取隱層節(jié)點數(shù)為4時效果比較顯著。

動量因子和學(xué)習(xí)速率是影響B(tài)P神經(jīng)網(wǎng)絡(luò)訓(xùn)練速率和收斂度的兩個重要因素。如果學(xué)習(xí)效率和動量因子過大則網(wǎng)絡(luò)收斂很快，但最后網(wǎng)絡(luò)發(fā)生振蕩，失去功能；如果學(xué)習(xí)效率和動量因子太小則學(xué)習(xí)速度太慢，網(wǎng)絡(luò)性能也會受到影響。因此經(jīng)實驗比較選擇，本網(wǎng)絡(luò)的最佳學(xué)習(xí)率為0.05，動量因子為0.6。

由于實驗的樣品數(shù)目較少，故采用交叉驗證法進(jìn)行分類驗證，也就是說將標(biāo)準(zhǔn)化變換后的每個樣本依次作為待測樣本，用剩余的其它樣本組成新的訓(xùn)練集建立學(xué)習(xí)模型，用于預(yù)測每個樣本的歸屬。

經(jīng)過LM-BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，可發(fā)現(xiàn)有一個穿心蓮樣品被識別錯誤，這份來自江西的樣品被鑒別為福建的樣品，其他11個樣品的鑒別結(jié)果均正確。從總體來看，使用LM-BP網(wǎng)絡(luò)鑒別穿心蓮樣品的識別正確率達(dá)到了91.67%，結(jié)果見表1。

表1 LM-BP神經(jīng)網(wǎng)絡(luò)對穿心蓮預(yù)測樣本的預(yù)測結(jié)果（略）

同時實驗預(yù)先使用傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)，發(fā)現(xiàn)雖然傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的鑒別結(jié)果與改進(jìn)的模型結(jié)果一致，但從訓(xùn)練的速度進(jìn)行比較，LM-BP算法的收斂速度很快，而傳統(tǒng)算法的收斂速度則比較緩慢，其誤差收斂曲線圖如圖1和圖2。

圖1 傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的誤差收斂曲線（略）

圖2 LM-BP神經(jīng)網(wǎng)絡(luò)的誤差收斂曲線（略）

3 討論

中藥指紋圖譜是一種綜合的、可量化的鑒定手段［5，6］，它是建立在中藥化學(xué)成分系統(tǒng)研究的基礎(chǔ)上，它能通過指紋圖譜的特征性來有效鑒別樣品的真?zhèn)位虍a(chǎn)地，并且能夠通過指紋圖譜主要特征峰的面積或比例的確定，有效控制產(chǎn)品的質(zhì)量，確保產(chǎn)品質(zhì)量的相對一致。但由于受到不同產(chǎn)地及不同采收期的影響，當(dāng)不同藥材樣品的指紋圖譜非常相似時，不可能用直接觀察的方法對各類產(chǎn)區(qū)的藥材作出準(zhǔn)確鑒別，如果使用簡單的傳統(tǒng)相關(guān)系數(shù)法，當(dāng)樣品間的相關(guān)系數(shù)非常大也很難作出鑒定。因此使用神經(jīng)網(wǎng)絡(luò)方法可對相似度較高的樣品分類鑒定作深入地研究。

本文首先利用穿心蓮HPLC的指紋圖譜資料建立了LM-BP神經(jīng)網(wǎng)絡(luò)模型，測試時只需將樣品的主要圖譜數(shù)據(jù)作為輸入，則可輸出相應(yīng)的產(chǎn)地類別，操作簡便快捷。由于中藥指紋圖譜的模糊綜合等特性，單純依靠人工識別容易出現(xiàn)混淆，因此借助人工神經(jīng)網(wǎng)絡(luò)技術(shù)對中藥指紋圖譜資料進(jìn)行分析，充分利用了模糊、非線性的技術(shù)特性，可以真實反映中藥材的內(nèi)在質(zhì)量。

應(yīng)用基于L-M算法的神經(jīng)網(wǎng)絡(luò)進(jìn)行穿心蓮藥材的識別分類，訓(xùn)練時間比普通的BP網(wǎng)絡(luò)訓(xùn)練時間短，且擬合精度并未降低。本方法克服了傳統(tǒng)BP網(wǎng)絡(luò)訓(xùn)練時間長、易陷入局部極小的局限性，在對識別精度和識別速度要求比較高的情況下，采用L-M算法改進(jìn)的BP網(wǎng)絡(luò)可以達(dá)到很好的效果，具有一定的實用價值。

【參考文獻(xiàn)】

［1］ 萬紹暉，萬紹明，康廷國.系統(tǒng)科學(xué)在中藥質(zhì)量控制中的運(yùn)用［J］.時珍國醫(yī)國藥，2005，16(5): 457.

［2］ Andrew R.Webb著.王 萍，楊培龍，羅穎昕譯.統(tǒng)計模式識別，第2版［M］.北京:電子工業(yè)出版社， 2004.

［3］ 湯 丹，李 薇，許 毅，等.廣藿香指紋圖譜解析的人工神經(jīng)網(wǎng)絡(luò)方法研究［J］.中藥材，2004，27 (7): 534.

［4］ 趙 弘，周瑞祥，林廷圻.基于Levenberg-Marquardt算法的神經(jīng)網(wǎng)絡(luò)監(jiān)督控制［J］.西安交通大學(xué)學(xué)報，2002，36(5):523.

［5］ 林蔚蘭，曾令杰，梁惠瑜.不同產(chǎn)地穿心蓮藥材HPLC指紋圖譜初步研究［J］.中成藥，2007，29 (5): 730.