神經網絡反向傳播公式精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡反向傳播公式主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經網絡反向傳播公式范文

關鍵詞:BP神經網絡 MATLAB仿真

中圖分類號:TP39文獻標識碼:A 文章編號:1007-3973(2010)06-061-02

1 BP神經網絡概述

BP(Back Propagation)網絡是1986年由Rumelhart和McCelland為首的科學家小組提出,是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W絡,是目前應用最廣泛的神經網絡模型之一。它的學習規(guī)則是使用最速下降法,通過反向傳播來不斷調整網絡的權值和閾值,使網絡的誤差平方和最小。BP一般為多層神經網絡,其模型拓撲結構一般包括輸入層(input)、隱層(hide layer)和輸出層(output layer)。如圖1所示:

2BP網絡的學習算法

(1)最速下降BP算法(steepest descent backpropagation,SDBP)

如圖2所示的BP神經網絡,設k為迭代次數,則每一次權值和閾值的修正案下式進行:

式中:w(t)為第k次迭代各層之間的連接權向量或閾值向量。x(k)= 為第k次迭代的神經網絡輸出誤差對個權值或閾值的梯度向量。負號代表梯度的反方向,即梯度的最速下降方向。 為學習速率,在訓練時事一常數。在MATLAB神經網絡工具箱中,其默認值為0.01,可以通過改變訓練參數進行設置。為第k次迭代的網絡輸出的總誤差性能函數,在MATLAB神經網絡工具箱中,BP網絡誤差性能函數的默認值為均誤差MSE(mean square error):

根據(2.2)式,可以求出第k次迭代的總誤差曲面的梯度x(k)= ,分別代入式(2.1)中,就可以逐次修正其權值和閾值,并使總的誤差向減小的方向變化,最終求出所要求的誤差性能。

(2)沖量BP算法(momentum backpropagation,MOBP)

因為反向傳播算法的應用廣泛,所以已經開發(fā)出了很多反向傳播算法的變體。其中最常見得事在梯度下降算法的基礎上修改公式(2.1)的權值更新法則,即引入沖量因子,并且0≤

標準BP算法實質上是一種簡單的最速下降靜態(tài)尋優(yōu)方法,在修正W(K)時,只按照第K步的負梯度方向進行修正,而沒有考慮到以前積累的經驗,即以前時刻的梯度方向,從而常常使學習過程發(fā)生振蕩,收斂緩慢。動量法權值調整算法的具體做法是:將上一次權值調整量的一部分迭加到按本次誤差計算所得的權值調整量上,作為本次的實際權值調整量,即公式(2.3)所示:是沖量系數,通常0≤

(3)學習率可變的BP算法(variable learnling rate backpropagation,VLBP)

標準BP算法收斂速度緩慢的一個重要原因是學習率選擇不當,學習率選得太小,收斂慢;反之,則有可能修正的過頭,導致振蕩甚至發(fā)散。因此可以采用圖3所示的自適應方法調整學習率。

自適應調整學習率的梯度下降算法,在訓練的過程中,力求使算法穩(wěn)定,而同時又使學習的不長盡量地大,學習率則是根據局部誤差曲面作出相應的調整。學習率則是通過乘上一個相應的增量因子來調整學習率的大小。即公式(2.5)所示:

其中:為使步長增加的增量因子,為使步長減小的增量因子; 為學習率。

3 建立BP神經網絡預測模型

BP預測模型的設計主要有輸入層、隱含層、輸出層及各層的個數和層與層之間的傳輸函數。

(1)網絡層數

BP有一個輸入層和一個輸出層,但可以包含多個隱含層。但理論的上已證明,在不限制隱含層節(jié)點的情況下,只有一個隱含層的BP就可以實現任意非線性映射。

(2)輸入層和輸出層的節(jié)點數

輸入層是BP的第一層,它的節(jié)點數由輸入的信號的維數決定,這里輸入層的個數為3;輸出層的節(jié)點數取決于BP的具體應用有關,這里輸出節(jié)點為1。

(3)隱含層的節(jié)點數

隱含層節(jié)點數的選擇往往是根據前人設計所得的經驗和自己的進行的實驗來確定的。根據前人經驗,可以參考以下公式設計:

其中:n為隱含層節(jié)點數;m為輸入節(jié)點數;t為輸出節(jié)點數;a為1~10之間的常數。根據本文要預測的數據及輸入和輸出節(jié)點的個數,則取隱含層個數為10。

(4)傳輸函數

BP神經網絡中的傳輸函數通常采用S(sigmoid)型函數:

如果BP神經網絡的最后一層是Sigmoid函數,那么整個網絡的輸出就會限制在0~1之間的連續(xù);而如果選的是Pureline函數,那么整個網絡輸出可以取任意值。因此函數選取分別為sigmoid和pureline函數。

4 BP神經網絡預測的MATLAB仿真實驗

(1)樣本數據的預處理

本文的樣本數據來源于中國歷年國內生產總值統(tǒng)計表,為了讓樣本數據在同一數量級上,首先對BP輸入和輸出數據進行預處理:將原樣本數據乘上,同時將樣本數據分為訓練樣本集和測試樣本集,1991~1999年我國的三大產業(yè)的各總值的處理結果作為訓練樣本集,即1991~1998年訓練樣本作為訓練輸入;1999年訓練樣本數據作為輸出訓練輸出;1992~2000年我國的三大產業(yè)的各總值的處理結果作為測試樣本集,即1992~1999年的測試樣本作為測試輸入,2000年測試樣本數據作為測試輸出。

(2)確定傳輸函數

根據本文的數據,如第3節(jié)所述,本文選取S函數(tansig)和線性函數(purelin)。

(3)設定BP的最大學習迭代次數為5000次。

(4)設定BP的學習精度為0.001;BP的學習率為0.1。

(5)創(chuàng)建BP結構如圖4所示;訓練BP的結果圖5所示:

正如圖5所示的數據與本文所示設計的網絡模型相符,且如圖5所示當BP神經網絡學習迭代到99次時,就打到了學習精度0.000997788,其學習速度比較快。

(6)測試BP神經網絡

通過MATLAB對測試樣本數據進行仿真,與實際的2000年我國三大產業(yè)的各生產總值比較(見表1),說明BP神經網絡預測模型是可行的。、

5總結

總之,在人工神經網絡的實際應用中,BP神經網絡廣泛應用于函數逼近、模式識別/分類、數據壓縮等。通過本文可以體現出MATLAB語言在編程的高效、簡潔和靈活。雖然BP在預測方面有很多的優(yōu)點,但其還有一定的局限性,還需要進一步的改進。

參考文獻:

[1]周開利,康耀紅.神經網絡模型及其MATLAB仿真程序設計[M].北京:清華大學出版社,2005.7.

[2]張德豐等.MATLAB神經網絡應用設計[M].北京:機械工業(yè)出版社,2009.1.

[3][美]米歇爾(Mitchell,T.M.)著;曾華軍等譯[M].北京:機械工業(yè)出版社,2003.1.

第2篇：神經網絡反向傳播公式范文

關鍵詞 壓力傳感器；溫度漂移；溫度補償

中圖分類號：TP212 文獻標識碼：A 文章編號：1671-7597（2014）10-0038-02

壓力傳感器的輸出結果精度容易受到多種因素的影響，其中，唯獨是影響傳感器輸出精度的最主要因素。目前，國內經常使用硬件補償和軟件補償兩類方法對壓力傳感器進行溫度補償。硬件補償方法調試難度較高、精度低、通用性也較差，在實際工程中應用時，難以去得較好的效果；而軟件補償方法有效彌補了硬件補償的缺點，其中BP神經網絡補償在實際工程中運用十分廣泛，但是典型BP神經網絡補償法雖然精確度高，但是整個流程過于復雜、整個過程耗時較長，因此，本文提出了一種基于主成分分析的BP神經網絡補償方法，希望對提高補償效率和準確性起到一定的作用。

1 典型BP神經網絡補償原理分析

BP神經網絡是目前研究中應用范圍最廣的神經網絡模型之一，BP神經網絡術語單向傳輸網絡結構，整個信息傳輸的過程呈現出高度的非線性特點。典型的BP神經網絡結構包括輸入層、隱含層和輸出層3層結構。通常情況下BP神經網絡只有這3層結構，這主要是由于單隱層的BP神經網絡既可以完成從任意n維到m維的映射。其典型結構如下圖所示。

BP神經網絡結構模型

BP算法設計到了信息的正向傳播以及誤差的反向傳播，信息首先從輸入層傳入，然后經過隱含層的處理傳入輸出層，最終輸出的信息可以用下面的形式進行表示：

其中：、分別代表了隱含層及輸出層的權值；

n0、n1分別對應了輸入節(jié)點數及隱含層節(jié)點數。

輸出層神經元的激勵函數f1通常呈現出線性特點；而隱含層神經元的激勵函數f2通常采用如下所示的形式在（0，1）的S型函數中進行輸出：

由于BP神經網絡隱含層采用的傳遞函數為對數S型曲線，其輸出范圍在（0，1）之間。為了避免節(jié)點在短時間之內飽和而無法繼續(xù)進行訓練，需要在訓練開始之前利用下面公式對樣本數據進行預處理：

，

其中：Ui、Pi均為訓練數據的標定值；Uimin、Uimax分別表示輸出電壓的標定極值（最小和最大）；Pimin、Pimax分別表示壓力的標定極值（最小和最大）。

當目標矢量為T，信息通過正向傳遞，可以得到誤差函數，具體如下所示：

如果輸出結果無法達到要求的誤差范圍，則返回誤差信號并按照一定的權值對公式中的各層權值進行修正，直到輸出結果達到期望值。

在利用典型BP神經網絡進行壓力傳感器溫度補償的過程中，算法過于復雜，而且非常耗時，因此，需要對其進行改進，以提高補償效率。

2 BP神經網絡法的改進

2.1 改進原理

基于典型的BP神經網絡，利用以下方法進行改進。

1）利用小波神經網絡的思想對神經元的激勵函數進行改進，從而實現小波特性與BP神經網絡自學功能的充分結合，提高激勵函數的逼近能力。以Morlet函數作為小波函數的母函數，可以降低不同層面神經元之間的影響，提高網絡的收斂速度。以Morlet函數作母函數的小波函數屬于幅值小波，其信號中包含了復值和相關信息，改進后的函數具體如下所示：

在本次研究中，我們選取了R個輸入樣本和N個輸出節(jié)點，則可以利用下面的公式對第l個樣本的第n個節(jié)點的輸入進行表示：

其中：K表示神經網絡隱含層的單元數量；M表示神經網絡輸入層的單元數量；ωn，k表示神經網絡隱含層第k單元與輸出層第n單元的連接權值；ak-小波伸縮因子；bk-平移因子；Sl（xm）―輸入信號。

2）在計算過程中通過，附加動量法的應用可以有效改實現梯度方向的平滑過渡，使得計算結果更具穩(wěn)定性。該方法以BP法為基礎對權值進行調節(jié)，具體公式如下：

其中：t表示樣本的訓練次數；η表示學習速率；σ表示動量因子；σΔωki（t）表示附加動量項，它能夠有效降低不同神經元之間的影響，提高網絡的收斂速度。

2.2 主成分BP神經網絡算法的實現

步驟1：按照典型BP神經網絡數據預處理方法對樣本數據進行預處理。

步驟2：利用主成分分析法對預處理后的樣本數據進行分析，降低輸入向量之間的影響，使各個輸入變量的協(xié)同方差趨于統(tǒng)一，從而使各權值具有相同的收斂速度，并以此確定神經網絡的輸入節(jié)點。

步驟3：對神經網絡進行初始化，并對其中的部分關鍵變量進行設置。

步驟4：為神經網絡選取一組學習樣本，以輸入節(jié)點作為網絡的輸入向量，并輸入期望fn，l，n=1，2，…，N；l=1，2，…，R。

步驟5：利用輸入的網絡參數計算網絡的實時輸出能力，當輸出誤差在允許范圍之內時，停止訓練；而當輸出誤差超過允許范圍 ，則將誤差信息進行反向傳播，使權值沿誤差函數的負梯度方向發(fā)生變化，然后利用梯度下降法計算出變化后的網絡參數，然后再重復進行第4步的操作。

步驟6：BP神經網絡在訓練合格之后，對其進行樣本補償。

步驟7：對補償后的樣本進行反標準化處理，然后與實測數據進行誤差比較，判斷出網絡改進之后的變化。

2.3 壓力傳感器溫度補償

根據前文提供的BP神經網絡算法實現步驟，可以利用Matlab編程語言來實現。在實現該算法之后，我們通過在壓力傳感器量程范圍內確定n個壓力標定點，同時確定m個溫度標定點。標準值發(fā)生器會根據每個標定點的信息產生對應的標定輸入值。然后輸入樣本數據，樣本數據按照目標值要求的±20%范圍進行選擇，然后以誤差目標小于10-3進行訓練，當達到誤差目標之后，網絡的收斂速度得到有效的提升。

3 結論

通過研究結果發(fā)現，利用主成分分析法對信息進行補償之后，再利用BP神經網絡對這些信息進行訓練，其學習速度相對直接利用BP神經網絡進行訓練更高。同時，通過改進典型的BP神經網絡，利用小波函數作為激勵函數，并應用動量附加發(fā)對網絡敏感性進行控制，可以有效避免網絡發(fā)生局部極小問題。通過基于主成分的BP神經網絡溫度補償方法可以使壓力傳感器受環(huán)境溫度變化而發(fā)生的誤差問題得到高效、精確的解決。

參考文獻

第3篇：神經網絡反向傳播公式范文

【關鍵詞】自組織神經網絡；智能建筑管理；BP神經網絡

1 基于自組織神經網絡技術原理

基于大規(guī)模自組織神經網絡技術[1]是在自組織神經網絡技術和專家系統(tǒng)的基礎原理運用多層數據融合彌補了單循環(huán)數據在智能建筑工程管理分析數據處理的不足和邏輯的缺陷學科.多跳自組織神經網絡是智能傳感器采集數據訓練樣本仿真學習模型即自動增速各個自組織神經元連接權閥值與感知識別隱式分布在整個網絡結構體系中實現自組織神經網絡模式記憶與信息處理應用.

2 基于大規(guī)模自組織神經網絡在智能建筑管理中研究

2.1 基于多跳自組織神經網絡在造價預測研究

基于大規(guī)模自組織BP神經模型應用40個高層智能建筑工程樣本訓練并用工程實例進行驗證高精確性;而用大規(guī)模自組織神經網絡模擬與輸入層和隱含層加入了偏置自組織神經元來促進學習訓練樣本數據中有噪聲、干擾等會造成過度學習現象,同時采用遺傳優(yōu)化算法進行建筑結構優(yōu)化.基于BP神經在智能建筑工程估價中的應用“特征提取器”的運算大量過去的工程資料中自動提取工程特征與預算資料的規(guī)律關系數據.

2.2 基于大規(guī)模自組織神經網絡在工程管理績效評價中的應用

運用大規(guī)模自組織BP神經模型對工程管理績效評價問題進行研究建立綜合考慮工期、質量、費用、安全四大控制指標的工程管理績效評價模型[2].實踐證明,基于BP神經網絡在運算工程管理績效評估模型有利于多跳自組織神經網絡預測工程工期、質量、成本、安全與績效之間復雜的非線性關系來提高管理績效的評價數據.

2.3 基于遺傳算法模型在建設工程評標結構優(yōu)化應用

基于多層神經網絡的工作原理是先將輸入信號傳輸到下一層節(jié)點運算函數處理后再將該節(jié)點的輸出信息向下一層節(jié)點傳輸到信號傳輸到輸出層節(jié)點為止.同時運用遺傳算法模型構造及算法設計進行方案優(yōu)劣排序、換位矩陣以及能量函數構造、大規(guī)模自組織神經元之間連接和輸出,并用實例說明了該方法的優(yōu)越性和實用性與非線性.

2.4 基于BP神經網絡模型在建設工程招投標管理應用研究

基于BP神經網絡多層數據融合多跳自組織神經網絡技術原理分析自動預測工程招投標的招標價格和風險因素分析以及競標單位資格審查等方面的應用指出多跳自組織神經網絡具有的高度并行處理和可完成復雜輸入輸出的非線性映射組合結構,不僅可以保證高的中標率,且可避免招標過程中不確定性因素的影響.運用大規(guī)模自組織神經網絡的工程承包招投標報價的研究,提出了一個多因素確定高層智能建筑投標報價的大規(guī)模自組織模型影響報高率的諸多因素,并確定了其權值即確定了用BP神經網絡實施黑箱操作的樣本輸入值和目標值再通過訓練樣本自主調整修正輸入節(jié)點和輸出節(jié)點間的聯(lián)系得出符合各種情況要求的權值矩陣算法.

2.5 基于智能建筑算法模型研究

基于BP神經網絡是以訓練樣本算法即誤差反向傳播算法即BP神經算法的學習過程分為信息的正向傳播和誤差的反向傳播[1],其通過訓練樣本前一次迭代的權值和閾值來應用神經網絡技術的第一層向后計算各層大規(guī)模自組織神經元的輸出和最后層向前計算各層權值和閾值對總誤差的梯度進而對前面各層的權值和閾值進行修改運算反復直到神經網絡樣本收斂 BP神經網絡輸入向量為

X=( )T;隱含層輸出向量為Y=( )T;輸出層的輸出向量為O= )T;期望輸出向量為 ;輸入層到隱含層之間的權值矩陣 ,其中列向量 為隱含層第j個大規(guī)模自組織神經元對應的權向量;隱含層到輸入層之間的權值矩陣 ,其中列向量 為輸出層第k個大規(guī)模自組織神經元對應的權向量.各層信號之間的算法結構為:

以上式中的 均為S類型函數, 的導數方程為: （5）

神經網絡輸出與期望輸出的均方誤差為: （6）

則訓練樣本輸出層和隱含層的權值調整量分別為:

式中: 為比例系數,在模型訓練中代表學習速率.如果BP自組織神經網絡有 個隱含層,各隱含層節(jié)點分別記為 ,各隱含層輸出分別記為 ,則各層權值調整計算公式分別如下:

輸出層

綜合上述預測分析在BP神經學習算法運用各層權值調整公式均由學習速率、本層輸出的誤差信號和本層輸入數字離散信號決定在訓練樣本學習的過程受決策環(huán)境復雜程度和訓練樣本的收斂性即需要增大樣本量來提高網絡技術所學知識的代表性應注意在收集某個問題領域的樣本時,注意樣本的全面性、代表性以及提高樣本的精確性,增大抗干擾噪聲,還可以采用其他方法收集多層訓練樣本數據.

3 結束語

自組織神經網絡技術應用在智能建筑管理領域是在多層智能傳感器等多種信息技術飛速發(fā)展的多學科交叉研究領域得到廣泛應用.

參考文獻:

[1]周小佳.電力系統(tǒng)可靠性神經網絡模型及實現研究[D].博士學位論文,1997.

[2]胡保清等.神經網絡在土木工程領域的應用[J].低溫智能建筑,2004(2).

作者介紹:

第4篇：神經網絡反向傳播公式范文

關鍵詞：神經網絡； 最優(yōu)化；一種共軛梯度算法

中圖分類號：TP183文獻標識碼：A 文章編號：1009-3044(2008)12-20000-00

Training BP Neural Network using optimization methods

LI Xiang ,SU Cheng

(College of computer science,China University of Mining and Technology, Xuzhou 221000,China)

Abstract：BP neural network can efficiently approximate any nonlinear system, but there is a problem of inefficient learning speed with the conventional steepest descent algorithm. In this paper, we try to convert neural network to an optimization model, and apply conjugate gradient algorithm to it to bring a faster learning speed.

Keywords：Neural network ；Optimization ； Conjugate gradient algorithm

1 BP神經網絡模型

BP(前饋式)神經網絡結構簡單,可操作性強,能模擬任意的非線性輸入輸出系統(tǒng)，是目前應用廣泛的神經網絡模型。BP網絡由輸入層i、隱含層j、輸出層k及各層之間的節(jié)點連接權組成，神經元拓撲如圖1：

網絡的學習過程由信息正向傳播和誤差反向傳播構成:

正向傳播過程：輸入信息從輸入層經隱含層逐層處理，傳向輸出層。若輸出層的實際輸出與期望的輸出不符，則轉入誤差的反向傳播。典型的BP神經網絡模型如圖2所示：

設網絡中各個參數如下：

xi為輸入信號，yi為實際輸出信號，Yi為期望輸出信號wi為對應于各個輸入信號的連接權值，θ為閾值，ε為給定的誤差。

（1）輸入層：輸入值一般為樣本各分量輸入值，輸出值一般等于輸入值xi 。

（2）隱含層：對于節(jié)點j，其輸入值hj為其前一層各節(jié)點輸出值xi的加權和，它的輸出值為：

(lixiang03.tif)

（3）輸出層：輸出層類似于隱含層(lixiang04.tif)

神經元結點的作用函數一般選用Sigmoid函數，即：(lixiang05.tif)

誤差函數一般選用(lixiang06.tif)

神經網絡的訓練過程就是按最小誤差準則來不斷調整網絡結點的權值，直至誤差

可以看到，BP神經網絡實際可轉化為求解一個最優(yōu)化問題，它的目標函數是(lixiang07.tif)。

2 最速下降法

2.1 基本搜索方法

針對神經網絡的最優(yōu)化問題，傳統(tǒng)的搜索方法選用最速下降法，即通過多次迭代，對網絡權值進行修正，使誤差目標函數沿負梯度方向下降，迭代的公式如下：

(lixiang08.tif)

這種方法在剛開始幾步有較好的收斂效果，但當迭代深入后容易陷入振蕩，出現鋸齒現象，導致結果精度不夠，訓練過程較長。

2.2 純梯度方法的改進

針對最速下降法收斂速度慢的問題，很多研究者提出了一些改進方法，主要有以下幾種：

（1）確定學習率

在基本網絡算法中，Δwi=wi(t+1)-wi(t)引用了固定的學習率η=1，為了更好的控制網絡的收斂性和學習速度，可以根據需要選擇自適應的變學習率，一般取0

(lixiang10.tif)

學習步長η是網絡學習的一個重要參數，在一定程度上也決定了網絡的收斂速度。學習步長過小會導致權重值更新量過小,因而使收斂非常緩慢；學習步長過大又會導致在極值點附近振蕩的可能性加大，乃至反復振蕩而難以收斂。具體數值應根據對誤差函數的影響來決定。

（2）加入動量項

這種措施又稱為慣性校正法,其權值調整公式可用下式表示：

(lixiang11.tif)

α為動量系數，這種方法在調整權值時，不僅考慮了本次迭代，而且兼顧上次的調整結果，能夠在加速收斂的同時一定程度地抑制振蕩。

（3）改進誤差函數

在基本網絡算法中，引用的誤差函數是(lixiang12.tif)。可以看到，這是一個誤差的絕對量，不能有效地表征樣本的相對誤差程度。對于某個節(jié)點會出現誤差的絕對量很大但是比例卻很小的情況。為了避免上述問題，引入相對誤差函數：

首先，對(lixiang13.tif)變形，(lixiang14.tif)，把不含有實際輸出的Y提出，得到相對誤差函數(lixiang15.tif)。相對誤差函數Jp使用誤差量的相對比例來表征樣本誤差ε ，具有更好的效果。

類似的針對最速下降法的改進方法還有很多，但是它們無法從根本上解決純梯度方法的局部振蕩性，收斂速度慢的問題仍然有待解決。

為了解決收斂速度慢的問題，本文采用共軛梯度法代替沿負梯度方向的最速下降法，它比最速下降法在收斂速度上有很大的改進。

3 共軛梯度法

3.1 共軛梯度法原理Jp

共軛梯度法是求解無約束優(yōu)化問題 (lixiang16.tif)的一類非常有效的方法，它的迭代格式為

(lixiang17.tif)

其中，(lixiang29.tif),dk為搜索方向，而αk>0是通過某種線搜索獲得的步長。純量βk的選取應滿足共軛性，βk的不同取法構成了不同的共軛梯度法。常用的有FR相關法(lixiang18.tif)和PRP相關法(lixiang19.tif)。為保證算法的強收斂性，本文選取一種新的共軛梯度法，它的βk公式如下：

(lixiang20.tif)

選取這種共軛梯度法的理由在于它在Wolfe搜索

(lixiang21.tif)

下具有全局收斂性質并且計算效果好于PRP等算法[1]。

3.2 搜索算法描述

首先采用最速下降法先達到一個初步精度W(0)。實驗表明，最速下降法“開局”的收斂速度是較好的。

第二階段采用共軛梯度法，步驟如下：

（1）把最速下降法得到的初步精度作為初始權值W(0)，并選定誤差最終精度值ε。

（2）置迭代次數k=0;

（3）計算目標函數(lixiang22.tif)和(lixiang23.tif);

（4）若k=0，令(lixiang24.tif) ；否則,(lixiang25.tif);其中(lixiang26.tif);

（5）一維搜索求取步長αk，使其滿足Wolfe搜索條件

(lixiang27.tif)

可以得到下一個迭代點為wk+1=wk+αkdk;

（6）計算J=f(wk+1);若J

3.3 算法實例

本文利用以上算法對一個函數y=x12+x22+x32實現逼近，以Δx=0.1為步長取得多組訓練樣本數據對[x1,x2,x3,f(x1,x2,x3)]。構建三層前饋式神經網絡，其中輸入層為(x1,x2,x3)，隱層結點取4個，它的權值為向量w，初始值取wi=0.5,i=1,2..4,期望輸出為Y=f(x1,x2,x3)，取定神經元的作用函數為Sigmoid函數(lixiang05.tif)閾值為θ,ε為給定的誤差,取ε=10-4，則共軛搜索的目標函數為:(lixiang12.tif), 原神經網絡問題可轉化為求最優(yōu)化問題min(J)，使用上述搜索算法得目標函數J的收斂數據如表1：

4 結論

實驗表明共軛梯度法具有較好的收斂特性，并且不會產生振蕩，可以有效地解決傳統(tǒng)BP網絡的收斂速度問題。并且本文選用的 因子在wolfe搜索下可以保證全局收斂性，比一般的 因子有更好的效果。

參考文獻：

[1] 戴虹．非線性共軛梯度法研究[D]．中國科學院計算數學與科學工程研究所，博士學位論文,1997.

[2] Dai YH,YUAN Y．A Nonlinear conjugate gradient with a strong global convergence property[J].SIAM Journal of optimization,2000(10):177-182．

[3] 黃兆龍.用啟發(fā)算法和神經網絡法解決二維不規(guī)則零件排樣問題[J].微計算機信息，2004(10):51-53．

[4] 杜華英,趙躍龍.人工神經網絡典型模型的比較研究[J].計算機技術與發(fā)展,2006(05):97-99.

[5] 陸瓊瑜,童學鋒.BP算法改進的研究[J]．計算機工程與設計,2007(03):648-650.

收稿日期：2008-03-27

第5篇：神經網絡反向傳播公式范文

關鍵詞：羊絨羊毛纖維；貝葉斯分類器；BP神經網絡；SVM支持向量機

中圖分類號：TS102.3 文獻標志碼：A

A Research of Classifiers for Testing Cashmere & Wool Fibers

Abstract： This paper mainly studies the classifiers for identifying the image features of wool and cashmere fibers. The image features， which are selected in the same way， are identified by using respectively Bayes classifier， BP neural network and SVM support vector machine. Then， by comparison we conclude that the SVM support vector machine is more suitable for testing of wool and cashmere fiber thanks to its higher recognition rate and speed.

Key words： cashmere and wool fibers； Bayes classifier； BP neural network； SVM support vector machine

羊絨纖維是制作高檔面料的重要原料，但其產量極少，僅占動物纖維總產量的很少一部分。由于羊絨的珍稀、高價、優(yōu)良品質及風格特征，生產商常采用山羊絨與其它纖維進行混紡加工；并且市場上也存在用混紡產品假冒純羊絨制品進行銷售的問題。故準確鑒別羊毛羊絨纖維十分必要。

圖像分析技術是紡織纖維形態(tài)研究的重要技術之一，使用圖像分析技術有助于提高羊絨羊毛檢測領域對于天然纖維的識別和分類的效率。本研究通過比較當今鑒別羊絨羊毛纖維時使用的不同分類器，來找到較適合的分類器。

1分類器介紹

1.1貝葉斯分類器

貝葉斯分類器依據研究對象的先驗概率，利用貝葉斯公式計算出研究對象的后驗概率，即是該對象屬于其中某一類的概率，選擇屬于最大的后驗概率的類為其所屬的類。因此，貝葉斯分類器是最大正確率意義上的優(yōu)化。

若已知有M類物體，以及每一類在n維特征空間的統(tǒng)計規(guī)律，即是各類別ωi（i=1，2，3，…，M）的先驗概率P（ωi）以及類條件概率密度P（X|ωi）。對于待測樣本，貝葉斯公式公式（1）可以計算出該樣本各類別的概率，即后驗概率，根據后驗概率的大小決定X屬于哪一類。

在羊絨羊毛纖維檢測中，統(tǒng)計數據服從正態(tài)分布，其相應的均值和方差可以由樣本均值以及樣本方差求出。

1.2BP神經網絡

人工神經網絡是通過對人腦思維方式的模仿，以一定的學習準則，通過人工神經元的網絡系統(tǒng)進行一定的記憶與學習，并通過不斷的學習，調整整個網絡的權值和閾值，達到減少錯誤的發(fā)生率的過程。

BP神經網絡，即人工神經網絡使用誤差逆?zhèn)鞑ニ惴ǎ˙P算法）的學習過程。該算法由信息的正向傳播和誤差的反向傳播兩個過程組成，其中正向傳播使用最速下降法進行傳播，誤差反向傳播則是利用輸出層的誤差來估計其直接前導層的誤差，即形成了將輸出端表現出的誤差沿著與輸入信號傳送的逆方向逐級向網絡的輸入端傳遞的過程。利用各層的誤差進行神經網絡閾值和權值的選取，以達到神經網絡誤差平方和最小的目的。

1.3SVM支持向量機

支持向量機是以VC維原理和結構風險最小化理論為基礎建立的機器學習方法，是一種監(jiān)督式的學習、分類方法。其優(yōu)勢表現在解決小樣本、非線性和高維模式識別問題上，并且解決了模式識別中經常出現的“維數災難”和“過學習”等問題。SVM支持向量機的原理是通過不同的“核函數”將提取的纖維特征在低維進行計算然后將分類效果映射到高維，從而實現從低維向高維的轉化。這避免了在高維上的復雜計算，實現了計算的精簡，提高了分類學習的效率。

2羊絨羊毛纖維圖像特征提取

本文所用的羊絨羊毛纖維圖像為中國纖維檢驗局提供的遼寧蓋縣種羊場成年公羊羊絨纖維圖像樣本100張和國際羊毛局標準羊毛纖維圖像100張。通過圖像旋轉，灰度化，中值濾波，邊緣提取等預處理過程。使用中軸線法提取纖維鱗片直徑和纖維鱗片高度作為特征參數。

3仿真結果分析

3.1貝葉斯分類器

本次研究選取羊毛纖維特征及羊絨纖維特征各95個作為訓練學習對象，其余羊毛羊絨纖維特征作為檢測對象，重復進行100次，貝葉斯算法仿真結果（圖1）得到的平均識別結果為88.7%。

3.2BP神經網絡

本次使用的BP神經網絡是最常見的兩節(jié)點的BP神經網絡。選取羊毛纖維特征及羊絨纖維特征各95個作為訓練學習對象，其余羊毛羊絨纖維特征作為檢測對象，仿真結果如圖2所示，得到平均識別率為84.8%，并且仿真時訓練時間過長，為138.242s。

3.3SVM支持向量機

本次以纖維鱗片直徑和纖維鱗片高度作為特征變量，利用交叉驗證，SVM支持向量機仿真結果如圖3所示。從圖3（a）可看出，通過使用SVM支持向量機，得到的識別率為92.7%；通過圖3（b）可以看到，分類效果相較于BP神經網絡效果更好。

4結論

通過對不同仿真結果的分析可以得出：首先，BP神經網絡針對小樣本的識別過程耗時過多，可能會出現過度訓練的情況，相比較而言，貝葉斯方法和SVM支持向量機識別過程耗時較少，更有效率；其次，針對識別率，BP神經網絡為84.8%，貝葉斯方法為88.7%，SVM支持向量機為92.7%，識別率更高。因此，SVM支持向量機較貝葉斯方法以及BP神經網絡更適宜作為羊絨羊毛纖維圖像特征識別的分類器。

參考文獻

[1] 衛(wèi)敏.羊絨的鑒別檢測方法分析[J].福建輕紡，2011（2）：33-37.

[2] 楊瀟，季益平，張毅.圖像識別在羊絨羊毛檢測中的應用研究[J].廣西紡織科技，2010，39（3）：13-16.

[3] 石先軍，于偉東，袁子厚.基于貝葉斯方法的山羊絨與細羊毛的鑒別[J].紡織學報，2008，29（1）：27-33.

[4] 劉彩紅.BP神經網絡學習算法的研究[D].重慶：重慶師范大學，2008.

[5] 丁世飛，齊丙娟，譚紅艷.支持向量機理論與算法研究綜述[J].電子科技大學學報，2011（1）：2-10.

[6] 王柏華，胡志宇，葛順順，等.基于光鏡條件下綿羊毛與山羊絨的鑒別[J].毛紡科技，2011，39（4）：42-45.

[7] Rafael C. Gonzalez， Richard E. Woods， Steven L. Eddins.Digital Image Processing Using MATLAB[M].阮秋琦，譯.北京：電子工業(yè)出版社，2005.

作者簡介：侍瑞峰，男，1989年生，碩士在讀，研究方向為圖像處理與模式識別。

通訊作者：劉亞俠，副教授，E-mail：。

第6篇：神經網絡反向傳播公式范文

關鍵詞： 模糊神經網絡；短期負荷預測；BP算法

algorithm

中圖分類號：TN711文獻標識碼： A 文章編號：

1 引 言

短期負荷預測是電力系統(tǒng)管理現代化的重要內容之一，是對發(fā)電、輸電和電能分配等合理安排的必要前提，對提高電力系統(tǒng)的經濟效益和社會效益，保障電力系統(tǒng)的安全經濟運行與國民經濟的發(fā)展具有非常重要的影響。因此，尋求有效的負荷預報方法，提高預測結果的準確度具有重要意義。

本文針對延邊電網短期負荷預測問題，考慮到氣象因素對負荷的影響，提出了一種具備模糊數據處理能力的模糊理論與擅長擬合非線性映射的神經網絡方法結合起來的短期負荷預測方法，首先根據評價函數選取相似日學習樣本，然后利用隸屬函數對影響負荷的特征因素向量的分量進行模糊處理，采用反向傳播算法，對24點每點建立一個預測模型，提高了學習效能。

2模糊理論與人工神經網絡方法簡介

2．1模糊集合論的概念

客觀事物的差異在中介過渡時所呈現的亦此亦彼的現象稱為模糊性，它體現了事物變化的連續(xù)過程。模糊集合論使用隸屬度來描述中介過渡，是以精確的數學語言對模糊性的一種表述。

設論域u＝｛x｝，u到閉區(qū)間〔0，1〕的任一映射uA（x）∶u〔0，1〕，xuA（x）確定了u的一個模糊子集，簡稱模糊集，記作A，該映射稱為A的隸屬函數。uA（x）的大小反映了x對模糊集A的隸屬程度，簡稱為隸屬度。實數集合上常用的隸屬函數為F分布，主要有矩形分布，梯形分布，拋物形分布等，在實際應用中可根據對象特點加以選擇。

2．2人工神經網絡和反向傳播算法的原理

神經網絡是由處理單元組成的一種并行、分布式信息處理結構，處理單元之間由單向信道相互連接。人工神經元是神經網絡的基本計算單元，模擬了人腦中神經元的基本特征，一般是多輸入／單輸出的非線性單元，可以有一定的內部狀態(tài)和閾值。

反向傳播（Error Back Propagation－BP）算法是多層感知器的一種有效學習算法，它的模型為前向多層網絡，如圖1所示。

網絡不僅有輸入層節(jié)點、輸出層節(jié)點，而且有隱含層節(jié)點，經過作用函數后，再把隱節(jié)點的輸出信息傳播到輸出節(jié)點，最后給出結果。節(jié)點的作用函數通常選取s型函數，如 這個算法的學習過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信號從輸入層經隱含層逐層處理，并傳向輸出層，每一層神經元的狀態(tài)只影響下一層神經元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉向反向傳播，將誤差信號沿原來的連接通道返回，通過修改各層神經元的權值，使得誤差信號最小。

BP算法可描述為：

a．權值和閾值初始化：隨機地給全部權值和神經元的閾值賦以較小的初始值；

b．給定輸入xk和目標輸出yk；

其中 為第l層第j個神經元到第l＋1層的第i個神經元的權系數，η為增益項，δ（l）ik為第l層i節(jié)點的k模式的誤差項，且有

若i為輸出節(jié)點，則

e．達到誤差精度要求則輸出結果，否則回到3。

3預測方法

3．1BP網絡學習樣本的選擇

根據差異評價函數選擇一批比較相似的負荷日，選擇方法如下：

a．首先將影響因素向量的各分量數值化，這些因素包括日類型，工作日取1，雙休日取2；光照，晴天取1，少云取2，多云取3，陰天取4，下雨取5；雨量，無雨取0，小雨取1，中雨取2，大雨取3，暴雨取4；最高溫度、最低溫度、平均溫度等可取實際值。

b．建立評價函數

其中是α－β的范數，α為已知日的影響因素向量，β為預測日的影響因素向量（預測值），δ為設定的偏離值，要根據不同地區(qū)的實際情況由經驗決定。凡是滿足該評價函數的已知日均可加入學習樣本。

3．2預測方法

為了提高BP網絡的學習速度和預測精度，對網絡輸出的實際負荷值進行規(guī)一化處理，同時使用隸屬度函數對輸入網絡的影響因素向量進行模糊化處理，使得輸入向量的不同分量如工作日、光照、雨量、溫度等都轉換為模糊量。

日類型的隸屬度函數采用半矩形分布，形式如下。

對工作日的隸屬度函數為：

溫度的隸屬度函數分別如下。

對低溫的隸屬度函數采用偏小型梯形分布：

對中溫的隸屬度函數采用中間型梯形分布：

對高溫的隸屬度函數采用偏大型梯形分布：

將最高溫度th代入以上3個公式，可分別求出對于低溫、中溫、高溫3個狀態(tài)的隸屬度。對于最低溫度t1、平均溫度tα，可采用同樣方法求出它們的3個狀態(tài)隸屬度。

影響因素向量的其它分量如光照、雨量等的隸屬度函數與溫度相似，根據當地實際情況選擇建立相應的分布函數，從而求出光照的5個狀態(tài)隸屬度以及雨量的5個狀態(tài)隸屬度。

另外，為了降低求解規(guī)模，對1d的24點負荷每點建立1個預測模型，第i點的輸入輸出函數為：

其中Lji是指第j個學習樣本第i點負荷的實際值，Ljimin是學習樣本中第i點負荷的最小值，Ljimax是學習樣本中第i點負荷的最大值，經過規(guī)一化處理后，

fi是指第i點的輸入輸出函數，α′j1，…α′jl是第j個樣本影響因素的隸屬度向量，包括2個代表日類型的隸屬度，3個代表最高溫度的隸屬度，3個代表最低溫度的隸屬度，3個代表平均溫度的隸屬度，5個代表光照的隸屬度，5個代表雨量的隸屬度。當學習完成后，將預測日當天影響因素的隸屬度向量 代入（10）式，則可得第i點的負荷預測值。

3．3一些注意事項

a．偽數據的處理

因為神經網絡所用的負荷數據來自電力部門的SCADA系統(tǒng)，由于各種原因會造成一定數量的異常數據?？紤]到負荷前后小時的自然變化，如果出現超常規(guī)值，必須將其剔除，代之以正常比例范圍內的估計值。

b．待選的相似日范圍

因為隨著時間的推移，系統(tǒng)負荷結構會發(fā)生緩慢的變化，當已知日和預測日相隔較遠時，即使它們的天氣情況等因素很相似，預測精度也不會高，因而取前3個星期的已知日作為待選范圍，同時還可以縮短程序選取樣本所花費的時間。

4計算實例分析與結論

4．1實例計算

對延邊電網2012年5月5日24點的負荷進行預測，所得結果如表一。

表一：

預測的平均絕對百分誤差為1.77％，最大預測誤差為3.1％，最小誤差為0.8％，誤差超過3％的預測點有2個，小于2％的點有15個，預測效果良好。

4．2結論

準確進行短期負荷預測是電力行業(yè)所企盼的，本人提出一種模糊神經網絡預測方法，利用模糊技術和神經網絡各自的特長，充分發(fā)揮了ANN處理非線性問題的能力，具有訓練速度快，學習精度高，數值穩(wěn)定等優(yōu)點，算例也表明這是一種行之有效的短期日負荷預測方法。

參考文獻

【1】 劉晨暉，“電力系統(tǒng)負荷預報理論與方法”哈爾濱工業(yè)大學出版社 1987

第7篇：神經網絡反向傳播公式范文

關鍵詞 神經網絡模型；模糊綜合評價；權重；水質評價

中圖分類號：X824 文獻標識碼：A 文章編號：1671-7597（2014）07-0147-01

目前，水污染很嚴重，治理好水污染，改善環(huán)境，防止造成進一步的污染，已經成為了社會所研究的重點。因此，水質的評價成為了一項重要的研究熱點，根據水質的相關的指標的特點，綜合分析得到水質的狀況，能夠為政府采取合理的措施提供依據。目前，神經網絡模型對水質進行評價已經成為了熱點，神經網絡的優(yōu)點在于權重的確定方面，能夠合理的確定各個指標的權重，但是在評價的模型上[1]，神經網絡用的層層分析模型，沒有做夠好的進行水質的評價，本文在神經網絡中融合模糊綜合評價模型，能夠很好的對水質進行評價。

1 神經網絡理論

人工神經網絡（AnificialNeural Nemorks，ANN）是通利用數學模型的方法進行抽象和模擬，是一種模仿人腦結構和它的功能的非線性的信息處理系統(tǒng)。它主要是大量的單元相互連接而組成的網絡結構，來實現大腦的感知和學習功能。神經網絡拓撲結構可以分為前饋多層式網絡模型、反饋遞歸式網絡模型和隨機型網絡模型等。根據研究水質問題多因素權重問題以及神經網絡的相關理論，前饋多層式網絡中的反向傳播神經網絡（BP神經網絡）具有良好的持久性以及適時預報性，因此在本文的評價模型中，我們都采用BP神經網絡的結構方式[2]。

前饋神經網絡分為了神經元分層排列，包含了輸入層、隱含層和輸出層三個層次結構，每個層次的神經元只能夠接收前一個層次的神經元，層層對應。這是一種比較強有力的學習系統(tǒng)，它的結構相對而言較為簡單，并且編程也比較容易，是一種靜態(tài)的非線性映射，通過簡單的非線性處理進行復合映射，能夠得到更加復雜的處理能力。這些前饋網絡學習，它們分類能力和模式識別的特點都要強于一般的反饋網絡。典型的前饋網絡有感知器網絡和BP網絡。水質評價模型中，一般采用的都是BP神經網絡，能夠很好的處理各個指標之間的關系特點，做到很好的評價，但是需要一個更好的模型結合神經網絡確定權重的特點進行水質評價，能夠收到更好的效果。

2 模糊綜合評價的基本理論

模糊數學是利用數學方法進行研究與處理模糊現象的數學。模糊綜合評價作為一門新的評價科學，是典型數學、統(tǒng)計數學之后的發(fā)展起來的一門新的數學學科，可以處理很多之前數學無法解決的問題。開始具有爭議，經過一段時間，開始迅速發(fā)展，而且涉及的應用領域越來越廣泛，已經遍及理、工、農、醫(yī)及社會科學，充分體現了評價模型的優(yōu)越之處。

模糊綜合評價法是一種利用模糊數學為基礎的綜合評標方法。綜合評價法利用模糊數學隸屬度理論和模糊變換原理，根據給出的評價標準與實測值，考慮到被評價事物的各個相關因素，對其進行綜合評價。對于模糊綜合評價向量，即綜合隸屬度，可用如下公式：

A為輸入，代表參加評價因子的權重經歸一化處理得到的一個1×n階矩陣；R為模糊變換裝置，是通過單因素評判得到的隸屬度向量，是一個n×m階的模糊關系矩陣；B為輸出，代表綜合評判結果，是一個1×m階矩陣[3]。

其中評價因子是m集合為：，分別為參與評價的n個評價因子。其中評價等級共m個等級，組成集合為：。

評判矩陣和隸屬度的式子為：

3 神經網絡和模糊綜合評價結合算法

神經網絡模型評價的精華在于權重的分析確定上，模糊綜合評價模型的優(yōu)點在于系統(tǒng)的評價模型，因此在評價的時候，只要將這兩者的優(yōu)點結合起來，就能夠得到很好的效果，因此設計了以下算法模型，能夠合理的對水質進行評價，為科學的采取污染防治措施提供依據。

Step1：網絡初始化。根據系統(tǒng)輸入輸出序列（X，Y）確定網絡輸入層節(jié)點數p、隱含輸入層節(jié)點數l，輸出層節(jié)點數q，初始化輸入層、隱含層和輸出層神經元之間的連接權值α和β（α為初始權重，β為臨界值，均隨機設為較小的數）給定學習速率和神經元[4][5]。

Step2：輸出計算。將已有的樣本數值加在網絡上，利用公式算出其輸出值：

Step3：調整權系數。根據網絡預測誤差，按已知輸出數據與上面算出的輸出數據之差，調整權重系數，其中調整量為：其中：因為隱節(jié)點的輸出內部抑制，利用反向推算可以得到：誤差值從輸出層反向推導得到。

Step4：對各層的權重系數進行調整后，得到調整后的權

重為：

BP神經網絡利用梯度下降算法，通過迭代運算，不斷調整mij的數值，當得到的輸出誤差小于所設定的閥值時，將認為獲得的mijBP神經網絡是合理的。而不斷迭代的方法相當于對各類情況進行調整，具有一定的學習記憶特征。

基金項目

國家自然科學基金青年基金（11201485）；徐州工程學院校青年項目（XKY2010201）。

參考文獻

[1]劉起霞，李清波，鄒劍峰.環(huán)境工程地質[M].鄭州：黃河水利出版社，2001.

[2]孫會君，王新華.應用人工神經網絡確定評價指標的權重[J].山東科技大學學報（自然科學版），2001，20（3）：84-86.

[3]萬金保，李媛媛.模糊綜合評價法在鄱陽湖水質評價中的應用[J].上海環(huán)境科學，2007，26（05）：215-218.

[4]金菊良，魏一鳴，丁晶.基于改進層次分析法的模糊綜合評價模型[J].水利學報，2004（03）：65-70.

[5]郭慶春，何振芳，李力，等.BP人工神經網絡模型在太湖水污染指標預測中的應用[J].南方農業(yè)學報，2011，42（10）.

第8篇：神經網絡反向傳播公式范文

關鍵詞：BP算法，神經網絡，抑菌圈直徑，抗生素效價測定

中圖分類號：TP18文獻標識碼：A文章編號：1009-3044(2011)10-2358-02

抗生素效價的生物測定，是以抗菌活性為指標平衡量，表示抗生素中有效成分效力的一種方法。其測定方法通常分為稀釋法、比濁法和滲透法。滲透法又稱擴散法，其中管碟瓊脂擴散法是國際上通用的抗生素效價測定方法，中、日、英、美及歐洲藥典均收載有此方法。該方法分為一劑量法，二劑量和三劑量法，其原理是將已知濃度的標準溶液與未知濃度的樣品溶液在含有敏感性試驗菌的瓊脂表面進行擴散，形成抑制試驗菌生長的透明抑菌圈，測出抑菌圈的直徑或面積大小，再利用抗生素濃度與抑菌圈直徑或面積的關系，求出樣品的效價[1]。

人工神經網絡(Artificial Neural Network，簡稱ANN)是通過模擬生物體中神經網絡的某些結構和功能而構成的一種新的信息處理系統(tǒng)。近年來廣泛應用于藥學領域，如處方優(yōu)化、結構設計、中藥含量測定及鑒別等方面。本文利用人工神經網絡的自學習自適應能力，建立抗生素效價與抑菌圈直徑之間的模型，對枯草芽孢桿菌的抗生素效價進行測定與預測，取得了較好的結果。

1 BP神經網絡原理

BP神經網絡（Back Propagation ，BP ) 是基于誤差反向傳播算法的多層前向神經網絡，也是目前應用最廣泛的神經網絡。BP神經網絡能模擬任意線性與非線性函數，因而具有良好的預測能力。BP神經網絡一般為三層神經網絡，即輸入層，隱含層，輸出層，其結構如圖1所示，每層都有一些神經元，與相鄰層的所有各單元均互相連接，兩個單元間的連接強度稱為“權值”。

BP神經網絡的學習分為兩步：信息的正向傳遞和誤差的反向傳播。信息的正向傳遞是輸入信息從輸入層經隱含層處理后傳向輸出層，誤差的反向傳播是將誤差逐層往回傳遞，以修正各層之間的權值和閾值。以上兩個過程反復交替，直到收斂為止。當訓練結束時，將學習得到的規(guī)則表達在網絡的權重中。根據未知樣本的輸入特性參數，網絡可進行仿真預測，其預測模型見圖2。

2 數據處理

2.1 BP網絡結構設計

測定抗生素效價時，通常只需測定抑菌圈的直徑或面積，然后根據直徑或面積與效價之間的關系計算其效價。因此輸入層和輸出層的節(jié)點數均設為1即可。隱含層的節(jié)點參照以下經驗公式進行設計：n=+a

式中：n為隱層節(jié)點數；ni為輸入節(jié)點數；n0為輸出節(jié)點數；a為1～10之間的常數[2]。第一層傳遞函數選用tansig函數，第二層傳遞函數選用purelin函數，設計的網絡模型如圖3所示。

2.2 試驗部分

菌種：枯草芽孢桿菌；檢定培養(yǎng)基（%）：牛肉膏 0.3蛋白胨 0.5K2HPO4 0.3瓊脂粉 1.5 ； 蒸餾水：pH 8.0～8.2；點樣量：標準品 1～5 μg；樣品：諾西肽發(fā)酵液 3μl；培養(yǎng)條件：37℃ 12-16個小時。

抑菌圈的直徑可通過董鴻曄等[3]設計的計算機可視化自動測量系統(tǒng)獲得，先測得標準品抑菌圈的直徑均值，利用標準品抑菌圈直徑與效價的關系建立標準曲線，數據見表1；再測得待測品抑菌圈的直徑均值，利用標準曲線計算出待測品抑菌圈直徑所對應的抗生素效價，其數據見表2。

2.3 網絡訓練

以待測品直徑均值為輸入，抗生素效價為輸出，訓練BP網絡，網絡學習參數為trainlm函數，最大訓練次數為3000次，訓練步長100，期望誤差為0.001。表2中數據分為兩部分，一部分用于網絡訓練，隱層節(jié)點數初值設為8，經優(yōu)化當隱含層節(jié)點數為15時，網絡收斂達到期望誤差。

2.4 網絡預測

為了驗證網絡的泛化能力，選擇部分待測樣品作為輸入值，進行網絡預測。網絡預測效價與利用一劑量法計算的實際效價見表3。

2.5 模型檢驗

為驗證網絡預測模型精度，，利用統(tǒng)計軟件SPSS表3中兩種方法得到的抗生素效價進行方差檢驗，見表4。F檢驗Sig=0.467>0.05，說明兩組數據的測量方法無顯著性差異。由此可見BP網絡的預測結果是可靠的。 3 討論

本文通過BP神經網絡預測模型對抗生素效價進行測定，結果表明，采用BP人工神經網絡預測效價方法簡便快捷，其預測結果可靠，為抗生素效價的測定建立了新的分析方法。本網絡中采用的學習算法為LM算法，是目前收斂速度最快的算法之一[4]。BP網絡的非線性映射能力不僅表現在處理多因素影響問題上，在本試驗中處理單因素問題時亦表現出優(yōu)勢。在測定抗生素效價中，只考慮到直徑一個因素，實際中抗生素微生物效價檢定法影響因素很多，如培養(yǎng)溫度、培養(yǎng)基成分、酸堿度、實驗菌種的老化、菌層厚度、藥液的稀釋、鋼管等[5]，這些因素對網絡預測結果的影響還有待考慮和研究。

參考文獻：

[1] 抗何文.蔡先東.生素效價測定方法的改進[J].廣東藥學,2003,13(2).

[2] 周開利.康耀紅.神經網絡模型及其MATLAB仿真程序設計[M].清華大學出版社,2005.

[3] 董鴻曄,金杰,趙青.計算機可視化技術在抗生素效價測定中的應用[J].生物技術,2002,12(2).

第9篇：神經網絡反向傳播公式范文

關鍵字:灰色神經網絡;電力建設工程;模型

0 引言

隨著社會經濟的快速發(fā)展、社會的進步、科技和多層信息化水平的提高以及全球資源和環(huán)境問題的日益突出與電力建設發(fā)展面臨著新的挑戰(zhàn).在電力行業(yè)在各國經濟發(fā)展中占據優(yōu)先發(fā)展的地位,電力建設工程造價與其他電力建設工程造價相比,具有電力建設工程造價規(guī)模大、周期長的特點.基于眾多的電力建設工程造價方案中選擇較優(yōu)方案是電力建設工程造價決策的關鍵技術.在電力建設工程造價方案比選過程中的評價指標有工程造價凈現值、電力建設工程造價回收期、財務內部收益率等,使決策變得復雜且很難做出.基于灰色系統(tǒng)理論、模糊理論進行有機的結合,用灰色神經網絡度分析方法來計算決策矩陣和建立模型[1],并應用到實際電力建設工程造價決策中,可為決策者提供一種有效的決策途徑,根據灰色系統(tǒng)理論,研究和分析決策系統(tǒng)影響因素間的相互關系及對系統(tǒng)主要目標的貢獻,該研究方法考慮了傳統(tǒng)因素分析方法并避免了模糊理論處理方法的種種弊端。

1 基于灰色神經網絡原理及應用

基于灰色神經網絡模型為基礎的預測,運用灰色系統(tǒng)的數據信息預處理方式搭建電力建設工程造價即灰色生成來優(yōu)化神經網絡的建模應用于智能電力建設工程造價中的問題預測。

2 基于電力建設工程造價與灰色神經網絡模型研究

基于灰色神經網絡是以訓練樣本算法即誤差反向傳播算法即灰色神經算法的學習過程分為信息的正向傳播和誤差的反向傳播[2],其通過訓練樣本前一次迭代的權值和閾值來應用神經網絡技術的第一層向后計算各層大規(guī)模自組織神經元的輸出和最后層向前計算各層權值和閾值對總誤差的梯度進而對前面各層的權值和閾值進行修改運算反復直到神經網絡樣本收斂。

2.1 基于電力建設工程造價灰色神經網絡模型

基于灰色神經網絡輸入向量為X=()T;隱含層輸出向量為Y=()T;輸出層的輸出向量為O=)T;期望輸出向量為;輸入層到隱含層之間的權值矩陣,其中列向量為隱含層第j個大規(guī)模自組織神經元對應的權向量;隱含層到輸入層之間的權值矩陣,其中列向量為輸出層第k個大規(guī)模自組織神經元對應的權向量.各層信號之間的算法結構為:

⑴⑵

⑶⑷

以上式中的均為S類型函數,的導數方程為:⑸

以下是基于電力建設工程造價灰色神經網絡輸出與期望輸出的均方誤差為:⑹

則電力建設工程造價訓練樣本輸出層和隱含層的權值調整量分別為:⑺⑻

⑼

式中:為比例系數,在電力建設網絡模型訓練中代表學習速率.如果灰色自組織神經網絡有個隱含層,各隱含層節(jié)點分別記為,各隱含層輸出分別記為,則各層權值調整灰色神經網絡模型運算計算公式分別如下:

輸出層⑽

第隱含層

⑾

第一隱含層 ⑿

綜合上述預測分析在灰色神經在電力建設工程造價中學習算法運用各層權值調整公式均由學習速率、本層輸出的誤差信號和本層輸入數字離散信號處理決定在網絡訓練樣本學習的過程受決策環(huán)境復雜程度和訓練樣本的收斂性即需要增大樣本量來提高電力建設工程造價所學知識的代表性應注意在收集某個問題領域的樣本時,注意樣本的全面性、代表性以及提高樣本的精確性,增大抗干擾噪聲,還可以采用其他方法收集多層訓練樣本數據。

3 結束語

基于電力建設工程造價方案的選擇問題是一個復雜的系統(tǒng)多屬性決策問題,評價因素多而且相互之間的關系比較復雜.通過構建灰色神經網絡決策模型,綜合考慮到電力建設工程方案選擇過程中的多方案、多因素、多目標特點,避免了單指標方案選擇過程中存在的決策偏離問題.通過該模型優(yōu)化全面分析多層目標指標間的相互關系,較好地解決單指標無法全面反映工程方案多目標的問題,為電力建設工程方案優(yōu)選提供了一種可靠的途徑數據。

參考文獻: