前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇神經(jīng)網(wǎng)絡(luò)的反向傳播范文,相信會為您的寫作帶來幫助,發(fā)現(xiàn)更多的寫作思路和靈感。
[關(guān)鍵詞]有機碳含量評價 神經(jīng)網(wǎng)絡(luò)
中圖分類號:TP183 文獻標識碼:A 文章編號:1009-914X(2015)45-0356-01
1 BP神經(jīng)網(wǎng)絡(luò)基本原理
BP神經(jīng)網(wǎng)絡(luò),即誤差反傳誤差反向傳播算法的學(xué)習(xí)過程,由信息的正向傳播和誤差的反向傳播兩個過程組成。輸入層各神經(jīng)元負責(zé)接收來自外界的輸入信息,并傳遞給中間層各神經(jīng)元;中間層是內(nèi)部信息處理層,負責(zé)信息變換,根據(jù)信息變化能力的需求,中間層可以設(shè)計為單隱層或者多隱層結(jié)構(gòu);最后一個隱層傳遞到輸出層各神經(jīng)元的信息,經(jīng)進一步處理后,完成一次學(xué)習(xí)的正向傳播處理過程,由輸出層向外界輸出信息處理結(jié)果。當實際輸出與期望輸出不符時,進入誤差的反向傳播階段。誤差通過輸出層,按誤差梯度下降的方式修正各層權(quán)值,向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過程,是各層權(quán)值不斷調(diào)整的過程,也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程,此過程一直進行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度,或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。
2 BP神經(jīng)網(wǎng)絡(luò)工作機理
2.1 正向傳播
圖中,表示神經(jīng)元的輸入,表示輸入層與隱含層之間權(quán)值,為隱含層與輸出層之間的權(quán)值,f()為傳遞函數(shù),為第k個神經(jīng)元輸出。假設(shè)BP神經(jīng)網(wǎng)絡(luò)輸入層有n個節(jié)點,隱含層有q個節(jié)點,輸出層m個節(jié)點。
隱含層第k個神經(jīng)元的輸入:
經(jīng)過傳遞函數(shù)f()后,則隱含層第k個神經(jīng)元的輸出:
其中f()為單調(diào)遞增且有界,所以一定有最大值。
輸出層第j個神經(jīng)元輸出:
2.2 反向傳播
輸入P個學(xué)習(xí)樣本,通過傳入網(wǎng)絡(luò)后,輸出,第P個樣本誤差:
式中:期望
全局誤差E:
輸出層權(quán)值的變化,通過調(diào)整,使得全局誤差E最小,得出輸出層神經(jīng)元權(quán)值調(diào)整公式:
隱含層神經(jīng)元的調(diào)整公式:
3 應(yīng)用實例
選擇AC,DEN,CNL,GR,PE,RD作為輸入曲線。XX井的53個點的巖心數(shù)據(jù),從中選出30個點作為訓(xùn)練樣本,23個點作為預(yù)測,構(gòu)建網(wǎng)絡(luò),對全井段處理。結(jié)果對比(如圖3-1),發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)計算的TOC比傳統(tǒng)的法計算的TOC效果好。其中TOC_NN為神經(jīng)網(wǎng)絡(luò)預(yù)測TOC,TOC_DaltalogR_AC為法計算的TOC。
4 結(jié)論
BP神經(jīng)網(wǎng)絡(luò)預(yù)測TOC克服了常規(guī)解釋模型的缺陷,不用選擇解釋參數(shù),計算結(jié)果與解釋人員經(jīng)驗無關(guān),預(yù)測結(jié)果精度有較大幅度的提高。利用多種測井解釋數(shù)據(jù)及巖心分析資料作為網(wǎng)絡(luò)訓(xùn)練樣本,通過網(wǎng)絡(luò)的訓(xùn)練、學(xué)習(xí),建立了BP網(wǎng)絡(luò)TOC模型,并利用該模型預(yù)測該地區(qū)新井的TOC值,實驗證明用該模型進行TOC預(yù)測是可行的。
參考文獻
[1]楊斌.神經(jīng)網(wǎng)絡(luò)及其在石油測井中的應(yīng)用[M].北京:石油工業(yè)出版,2005:111-115.
[2]羅利,姚聲賢.神經(jīng)網(wǎng)絡(luò)及模式識別技術(shù)在測井解釋中的應(yīng)用[J].測井技術(shù),2002.
【關(guān)鍵詞】 圖像識別技術(shù) 神經(jīng)網(wǎng)絡(luò)識別
模式識別研究的目的是用機器來模擬人的各種識別能力―比如說模擬人的視覺與聽覺能力,因此圖像識別的目的是對文字、圖像、圖片、景物等模式信息加以處理和識別,以解決計算機與外部環(huán)境直接通信這一問題??梢哉f,圖像識別的研究目標是為機器配置視覺“器官”,讓機器具有視覺能力,以便直接接受外界的各種視覺信息。
一、圖像識別系統(tǒng)
一個圖像識別系統(tǒng)可分為四個主要部分:被識圖像、圖像信息獲取、圖像預(yù)處理、圖像特征提取、分類判決。
二、圖像識別方法
圖像識別的方法很多,可概括為統(tǒng)計(或決策理論)模式識別方法、句法(或結(jié)構(gòu))模式識別方法、模糊模式識別方法以及神經(jīng)網(wǎng)絡(luò)識別方法。重點介紹神經(jīng)網(wǎng)絡(luò)識別方法。
2.1神經(jīng)網(wǎng)絡(luò)識別方法
2.1.1人工神經(jīng)網(wǎng)絡(luò)的組成
人工神經(jīng)網(wǎng)絡(luò)(簡稱ANN)是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò),用來模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而這些處理單元我們把它稱作人工神經(jīng)元。
2.1.2人工神經(jīng)網(wǎng)絡(luò)的輸出
2.1.3人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
人工神經(jīng)網(wǎng)絡(luò)中,各神經(jīng)元的不同連接方式就構(gòu)成了網(wǎng)絡(luò)的不同連接模型。常見的連接模型有:前向網(wǎng)絡(luò)、從輸入層到輸出層有反饋的網(wǎng)絡(luò)、層內(nèi)有互聯(lián)的網(wǎng)絡(luò)及互聯(lián)網(wǎng)絡(luò)。
2.1.4 學(xué)習(xí)算法
1)感知器模型及其算法
算法思想:首先把連接權(quán)和閾值初始化為較小的非零隨機數(shù),然后把有n個連接權(quán)值的輸入送入網(wǎng)絡(luò)中,經(jīng)加權(quán)運算處理后,得到一個輸出,如果輸出與所期望的有較大的差別,就對連接權(quán)值參數(shù)按照某種算法進行自動調(diào)整,經(jīng)過多次反復(fù),直到所得到的輸出與所期望的輸出間的差別滿足要求為止。
2)反向傳播模型及其算法
反向傳播模型也稱B-P模型,是一種用于前向多層的反向傳播學(xué)習(xí)算法。
算法思想是:B-P算法的學(xué)習(xí)目的是對網(wǎng)絡(luò)的連接權(quán)值進行調(diào)整,使得調(diào)整后的網(wǎng)絡(luò)對任一輸入都能得到所期望的輸出。學(xué)習(xí)過程包括正向傳播和反向傳播。正向傳播用于對前向網(wǎng)絡(luò)進行計算,即對某一輸入信息,經(jīng)過網(wǎng)絡(luò)計算后求出它的輸出結(jié)果;反向傳播用于逐層傳遞誤差,修改神經(jīng)元之間的連接權(quán)值,使網(wǎng)絡(luò)最終得到的輸出能夠達到期望的誤差要求。
B-P算法的學(xué)習(xí)過程如下:
第一步:選擇一組訓(xùn)練樣例,每一個樣例由輸入信息和期望的輸出結(jié)果兩部分組成;第二步:從訓(xùn)練樣例集中取出一樣例,把輸入信息輸入到網(wǎng)絡(luò)中;第三步:分別計算經(jīng)神經(jīng)元處理后的各層節(jié)點的輸出;第四步:計算網(wǎng)絡(luò)的實際輸出和期望輸出的誤差;第五步:從輸出層反向計算到第一個隱層,并按照某種原則(能使誤差向減小方向發(fā)展),調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的權(quán)值;第六步:對訓(xùn)練樣例集中的每一個樣例重復(fù)一到五的步驟,直到誤差達到要求時為止。
3)Hopfield模型及其學(xué)習(xí)算法
它是一種反饋型的神經(jīng)網(wǎng)絡(luò),在反饋網(wǎng)絡(luò)中,網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中,使得網(wǎng)絡(luò)具有了動態(tài)性,因此網(wǎng)絡(luò)的狀態(tài)在不斷的改變之中。
算法思想是:
(a) 設(shè)置互連權(quán)值
其中xis是s類樣例的第i個分量,它可以為1或0,樣例類別數(shù)為m,節(jié)點數(shù)為n。
(b) 未知類別樣本初始化。 Yi(0)=Xi 0≤i≤n-1
其中Yi(t)為節(jié)點I在t時刻的輸出,當t=0時,Yi(0)就是節(jié)點I的初始值,Xi為輸入樣本的第I個分量。
(c) 迭代直到收斂
(江蘇科技大學(xué)電子信息學(xué)院,江蘇鎮(zhèn)江212003)
摘要:在實際交通環(huán)境中,由于運動模糊、背景干擾、天氣條件以及拍攝視角等因素,所采集的交通標志的圖像質(zhì)量往往不高,這就對交通標志自動識別的準確性、魯棒性和實時性提出了很高的要求。針對這一情況,提出一種基于深層卷積神經(jīng)網(wǎng)絡(luò)的交通標志識別方法。該方法采用深層卷積神經(jīng)網(wǎng)絡(luò)的有監(jiān)督學(xué)習(xí)模型,直接將采集的交通標志圖像經(jīng)二值化后作為輸入,通過卷積和池采樣的多層處理,來模擬人腦感知視覺信號的層次結(jié)構(gòu),自動地提取交通標志圖像的特征,最后再利用一個全連接的網(wǎng)絡(luò)實現(xiàn)交通標志的識別。實驗結(jié)果表明,該方法利用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)能力,自動地提取交通標志的特征,避免了傳統(tǒng)的人工特征提取,有效地提高了交通標志識別的效率,具有良好的泛化能力和適應(yīng)范圍。
關(guān)鍵詞 :交通標志;識別;卷積神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí)
中圖分類號:TN911.73?34;TP391.41 文獻標識碼:A 文章編號:1004?373X(2015)13?0101?06
收稿日期:2015?01?09
基金項目:國家自然科學(xué)基金面上項目(61371114)
0 引言
隨著智能汽車的發(fā)展,道路交通標志的自動識別[1?3]作為智能汽車的基本技術(shù)之一,受到人們的高度關(guān)注。道路交通標志識別主要包括兩個基本環(huán)節(jié):首先是交通標志的檢測,包括交通標志的定位、提取及必要的預(yù)處理;其次是交通標志的識別,包括交通標志的特征提取和分類。
如今,交通標志的識別方法大多數(shù)都采用人工智能技術(shù),主要有下述兩類形式[4]。一種是采用“人工特征+機器學(xué)習(xí)”的識別方法,如基于淺層神經(jīng)網(wǎng)絡(luò)、支持向量機的特征識別等。在這種方法中,主要依靠先驗知識,人工設(shè)計特征,機器學(xué)習(xí)模型僅負責(zé)特征的分類或識別,因此特征設(shè)計的好壞直接影響到整個系統(tǒng)性能的性能,而要發(fā)現(xiàn)一個好的特征,則依賴于研究人員對待解決的問題的深入理解。另一種形式是近幾年發(fā)展起來的深度學(xué)習(xí)模型[5],如基于限制波爾茲曼機和基于自編碼器的深度學(xué)習(xí)模型以及卷積神經(jīng)網(wǎng)絡(luò)等。在這種方法中,無需構(gòu)造任何的人工特征,而是直接將圖像的像素作為輸入,通過構(gòu)建含有多個隱層的機器學(xué)習(xí)模型,模擬人腦認知的多層結(jié)構(gòu),逐層地進行信息特征抽取,最終形成更具推廣性和表達力的特征,從而提升識別的準確性。
卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)模型之一,是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),它利用一系列的卷積層、池化層以及一個全連接輸出層構(gòu)建一個多層的網(wǎng)絡(luò),來模仿人腦感知視覺信號的逐層處理機制,以實現(xiàn)視覺特征信號的自動提取與識別。本文將深層卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于道路交通標志的識別,通過構(gòu)建一個由二維卷積和池化處理交替組成的6層網(wǎng)絡(luò)來逐層地提取交通標志圖像的特征,所形成的特征矢量由一個全連接輸出層來實現(xiàn)特征的分類和識別。實驗中將加入高斯噪聲、經(jīng)過位移、縮放和旋轉(zhuǎn)處理的交通標志圖像以及實際道路采集交通標志圖像分別構(gòu)成訓(xùn)練集和測試集,實驗結(jié)果表明,本文所采用的方法具有良好的識別率和魯棒性。
1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)及原理
1.1 深度學(xué)習(xí)
神經(jīng)科學(xué)研究表明,哺乳動物大腦皮層對信號的處理沒有一個顯示的過程[5],而是通過信號在大腦皮層復(fù)雜的層次結(jié)構(gòu)中的遞進傳播,逐層地對信號進行提取和表述,最終達到感知世界的目的。這些研究成果促進了深度學(xué)習(xí)這一新興研究領(lǐng)域的迅速發(fā)展。
深度學(xué)習(xí)[4,6?7]的目的就是試圖模仿人腦感知視覺信號的機制,通過構(gòu)建含有多個隱層的多層網(wǎng)絡(luò)來逐層地對信號特征進行新的提取和空間變換,以自動學(xué)習(xí)到更加有效的特征表述,最終實現(xiàn)視覺功能。目前深度學(xué)習(xí)已成功地應(yīng)用到語音識別、圖像識別和語言處理等領(lǐng)域。在不同學(xué)習(xí)框架下構(gòu)建的深度學(xué)習(xí)結(jié)構(gòu)是不同的,如卷積神經(jīng)網(wǎng)絡(luò)就是一種深度的監(jiān)督學(xué)習(xí)下的機器學(xué)習(xí)模型。
1.2 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)及原理
卷積神經(jīng)網(wǎng)絡(luò)受視覺系統(tǒng)的結(jié)構(gòu)啟發(fā)而產(chǎn)生,第一個卷積神經(jīng)網(wǎng)絡(luò)計算模型是在Fukushima 的神經(jīng)認知機中提出的[8],基于神經(jīng)元之間的局部連接和分層組織圖像轉(zhuǎn)換,將有相同參數(shù)的神經(jīng)元應(yīng)用于前一層神經(jīng)網(wǎng)絡(luò)的不同位置,得到一種平移不變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)形式。后來,LeCun 等人在該思想的基礎(chǔ)上,用誤差梯度設(shè)計并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)[9?10],在一些模式識別任務(wù)上得到優(yōu)越的性能。
卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種有監(jiān)督的深度學(xué)習(xí)算法,無需事先知道輸入與輸出之間精確的數(shù)學(xué)表達式,只要用已知的模式對卷積神經(jīng)網(wǎng)絡(luò)加以訓(xùn)練,就可以學(xué)習(xí)到輸入與輸出之間的一種多層的非線性關(guān)系,這是非深度學(xué)習(xí)算法不能做到的。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)是由一系列的卷積和池化層以及一個全連接的輸出層組成,可以采用梯度下降法極小化誤差函數(shù)對網(wǎng)絡(luò)中的權(quán)值和閾值參數(shù)逐層反向調(diào)節(jié),以得到網(wǎng)絡(luò)權(quán)值和閾值的最優(yōu)解,并可以通過增加迭代次數(shù)來提高網(wǎng)絡(luò)訓(xùn)練的精度。
1.2.1 前向傳播
在卷積神經(jīng)網(wǎng)絡(luò)的前向傳播中,輸入的原始圖像經(jīng)過逐層的卷積和池化處理后,提取出若干特征子圖并轉(zhuǎn)換成一維特征矢量,最后由全連接的輸出層進行分類識別。
在卷積層中,每個卷積層都可以表示為對前一層輸入圖像的二維卷積和非線性激勵函數(shù),其表達式可用式(1)表示:
式中:Yj 表示輸出層中第j 個輸出;Y l + 1i 是前一層(l + 1層)
的輸出特征(全連接的特征向量);n 是輸出特征向量的長度;Wij 表示輸出層的權(quán)值,連接輸入i 和輸出j ;bj表示輸出層第j 個輸出的閾值;f (?) 是輸出層的非線性
1.2.2 反向傳播
在反向傳播過程中,卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法采用類似于BP神經(jīng)網(wǎng)絡(luò)的梯度最速下降法,即按極小化誤差的方法反向傳播調(diào)整權(quán)值和閾值。網(wǎng)絡(luò)反向傳播回來的誤差是每個神經(jīng)元的基的靈敏度[12],也就是誤差對基的變化率,即導(dǎo)數(shù)。下面將分別求出輸出層、池采樣層和卷積層的神經(jīng)元的靈敏度。
(1)輸出層的靈敏度
對于誤差函數(shù)式(6)來說,輸出層神經(jīng)元的靈敏度可表示為:
在前向傳播過程中,得到網(wǎng)絡(luò)的實際輸出,進而求出實際輸出與目標輸出之間的誤差;在反向傳播過程中,利用誤差反向傳播,采用式(17)~式(20)來調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,極小化誤差;這樣,前向傳播和反向傳播兩個過程反復(fù)交替,直到達到收斂的要求為止。
2 深層卷積神經(jīng)網(wǎng)絡(luò)的交通標志識別方法
2.1 應(yīng)用原理
交通標志是一種人為設(shè)計的具有特殊顏色(如紅、黃、白、藍、黑等)和特殊形狀或圖形的公共標志。我國的交通標志主要有警告、禁令、指示和指路等類型,一般采用顏色來區(qū)分不同的類型,用形狀或圖形來標示具體的信息。從交通標志設(shè)計的角度來看,屬于不同類型(不同顏色)的交通標志在形狀或圖形上有較大的差異;屬于相同類型(相同顏色)的標志中同類的指示信息標志在形狀或圖形上比較接近,如警告標志中的平面交叉路口標志等。因此,從機器視覺的角度來分析,同類型中同類指示信息的標志之間會比不同類型的標志之間更易引起識別錯誤。換句話說,相比于顏色,形狀或圖形是正確識別交通標志的關(guān)鍵因素。
因此,在應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)識別交通標志時,從提高算法效率和降低錯誤率綜合考慮,將交通標志轉(zhuǎn)換為灰度圖像并作二值化處理后作為卷積神經(jīng)網(wǎng)絡(luò)的輸入圖像信息。圖2給出了應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)識別交通標志的原理圖。該網(wǎng)絡(luò)采用了6層交替的卷積層和池采樣層來逐層提取交通標志的特征,形成的特征矢量由一個全連接的輸出層進行識別。圖中:W1i(i=1,2,…,m1),W1(j j=1,2,…,m2),…,W1k(k=1,2,…,m(n?1))分別表示卷積層L1,L3,…,Ln - 1 的卷積核;Input表示輸入的交通標志圖像;
Pool表示每個池采樣層的采樣池;map表示逐層提取的特征子圖;Y 是最終的全連接輸出。
交通標志識別的判別準則為:對于輸入交通標志圖像Input,網(wǎng)絡(luò)的輸出矢量Y = [y1,y2 ,…,yC ],有yj = Max{y1,y2 ,…,yC},則Input ∈ j,即判定輸入的交通標志圖像Input為第j 類交通標志。
2.2 交通標志識別的基本步驟
深層神經(jīng)網(wǎng)絡(luò)識別交通標志主要包括交通標志的訓(xùn)練與識別,所以將交通標志識別歸納為以下4個步驟:(1) 圖像預(yù)處理:利用公式Gray= 0.299R +0.587G + 0.114B 將彩色交通標志圖像轉(zhuǎn)換為灰度圖像,再利用鄰近插值法將交通標志圖像規(guī)格化,最后利用最大類間方差將交通標志圖像二值化。
(2)網(wǎng)絡(luò)權(quán)值和閾值的初始化:利用隨機分布函數(shù)將權(quán)值W 初始化為-1~1之間的隨機數(shù);而將閾值b 初始化為0。
(3)網(wǎng)絡(luò)的訓(xùn)練:利用經(jīng)過預(yù)處理的交通標志圖像構(gòu)成訓(xùn)練集,對卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,通過網(wǎng)絡(luò)前向傳播和反向傳播的反復(fù)交替處理,直到滿足識別收斂條件或達到要求的訓(xùn)練次數(shù)為止。
(4)交通標志的識別:將實際采集的交通標志圖像經(jīng)過預(yù)處理后,送入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中進行交通標志特征的提取,然后通過一個全連接的網(wǎng)絡(luò)進行特征分類與識別,得到識別結(jié)果。
3 實驗結(jié)果與分析
實驗主要選取了我國道路交通標志的警告標志、指示標志和禁令標志三類中較常見的50幅圖像??紤]到在實際道路中采集到的交通標志圖像會含有噪聲和出現(xiàn)幾何失真以及背景干擾等現(xiàn)象,因此在構(gòu)造網(wǎng)絡(luò)訓(xùn)練集時,除了理想的交通標志以外,還增加了加入高斯噪聲、經(jīng)過位移、旋轉(zhuǎn)和縮放處理和實際采集到的交通標志圖像,因此最終的訓(xùn)練樣本為72個。其中,加入的高斯噪聲為均值為0,方差分別為0.1,0.2,0.3,圖像的位移、旋轉(zhuǎn)、縮放的參數(shù)分別隨機的分布在±10,±5°,0.9~1.1的范圍內(nèi)。圖3給出了訓(xùn)練集中的交通標志圖像的示例。圖4是在實際道路中采集的交通標志圖像構(gòu)成的測試集的示例。
在實驗中構(gòu)造了一個輸入為48×48個神經(jīng)元、輸出為50 個神經(jīng)元的9 層網(wǎng)絡(luò)。網(wǎng)絡(luò)的輸入是像素為48 × 48 的規(guī)格化的交通標志圖像,輸出對應(yīng)于上述的50種交通標志的判別結(jié)果。網(wǎng)絡(luò)的激活函數(shù)采用S型函數(shù),如式(2)所示,其輸出范圍限制在0~1之間。
圖6是交通標志的訓(xùn)練總誤差EN 曲線。在訓(xùn)練開始的1 500次,誤差能迅速地下降,在迭代2 000次以后是一個平穩(wěn)的收斂過程,當?shù)?0萬次時,總誤差EN可以達到0.188 2。
在交通標志的測試實驗中,為了全面檢驗卷積神經(jīng)網(wǎng)絡(luò)的識別性能,分別針對理想的交通標志,加入高斯噪聲、經(jīng)過位移、旋轉(zhuǎn)和比例縮放以及采集的交通標志圖像進行實驗,將以上測試樣本分別送入到網(wǎng)絡(luò)中識別,表2給出了測試實驗結(jié)果。
綜合分析上述實驗結(jié)果,可以得到以下結(jié)論:(1)在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)過程中,整個網(wǎng)絡(luò)的誤差曲線快速平穩(wěn)的下降,體現(xiàn)出卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)具有良好的收斂性。
(2)經(jīng)逐層卷積和池采樣所提取的特征具有比例縮放和旋轉(zhuǎn)不變性,因此對于旋轉(zhuǎn)和比例縮放后的交通標志能達到100%的識別率。
(3)與傳統(tǒng)的BP網(wǎng)絡(luò)識別方法[11]相比較,卷積神經(jīng)網(wǎng)絡(luò)能夠達到更深的學(xué)習(xí)深度,即在交通標志識別時能夠得到更高的所屬類別概率(更接近于1),識別效果更好。
(4)卷積神經(jīng)網(wǎng)絡(luò)對實際采集的交通標志圖像的識別率尚不能達到令人滿意的結(jié)果,主要原因是實際道路中采集的交通標志圖像中存在著較嚴重的背景干擾,解決的辦法是增加實際采集的交通標志訓(xùn)練樣本數(shù),通過網(wǎng)絡(luò)的深度學(xué)習(xí),提高網(wǎng)絡(luò)的識別率和魯棒性。
4 結(jié)論
本文將深層卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于道路交通標志的識別,利用卷積神經(jīng)網(wǎng)絡(luò)的深層結(jié)構(gòu)來模仿人腦感知視覺信號的機制,自動地提取交通標志圖像的視覺特征并進行分類識別。實驗表明,應(yīng)用深層卷積神經(jīng)網(wǎng)絡(luò)識別交通標志取得了良好的識別效果。
在具體實現(xiàn)中,從我國交通標志的設(shè)計特點考慮,本文將經(jīng)過預(yù)處理二值化的圖像作為網(wǎng)絡(luò)的輸入,主要是利用了交通標志的形狀信息,而基本略去了顏色信息,其優(yōu)點是在保證識別率的基礎(chǔ)上,可以簡化網(wǎng)絡(luò)的結(jié)構(gòu),降低網(wǎng)絡(luò)的計算量。在實際道路交通標志識別中,將形狀信息和顏色信息相結(jié)合,以進一步提高識別率和對道路環(huán)境的魯棒性,是值得進一步研究的內(nèi)容。
此外,本文的研究沒有涉及到道路交通標志的動態(tài)檢測,這也是今后可以進一步研究的內(nèi)容。
參考文獻
[1] 劉平華,李建民,胡曉林,等.動態(tài)場景下的交通標識檢測與識別研究進展[J].中國圖象圖形學(xué)報,2013,18(5):493?503.
[2] SAHA S K,DULAL C M,BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication,2012,50(10):35?41.
[3] STALLKAMP J,SCHLIOSING M,SALMENA J,et al. Man vs.computer:benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network,2012,32(2):323?332.
[4] 中國計算機學(xué)會.深度學(xué)習(xí):推進人工智能夢想[EB/OL].[2013?06?10].http://ccg.org.cn.
[5] 鄭胤,陳權(quán)崎,章毓晉.深度學(xué)習(xí)及其在目標和行為識別中的新進展[J].中國圖象圖形學(xué)報,2014,19(2):175?184.
[6] FUKUSHIMA K. Neocognition:a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics,1980,36(4):193?202.
[7] LECUN Y,BOTTOU L,BENGIO Y,et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines,1989,86(11):2278?2324.
[8] LECUN Y,BOTTOU L,BENGIO Y,et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation,1989,1(4):541?551.
[9] CIRESAN D,MEIER U,MAsci J,et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works,2012,32(2):333?338.
[10] NAGI J,DUCATELLE F,CARO D,et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur:IEEE,2011,342?347.
[11] 楊斐,王坤明,馬欣,等.應(yīng)用BP神經(jīng)網(wǎng)絡(luò)分類器識別交通標志[J].計算機工程,2003,29(10):120?121.
[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http://cogprints.org/5869/.
[13] 周開利,康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其Matlab 仿真設(shè)計[M].北京:清華大學(xué)出版社,2005.
[14] 孫志軍,薛磊,許陽明,等.深度學(xué)習(xí)研究綜述[J].計算機應(yīng)用研究,2012,29(8):2806?2810.
[15] 劉建偉,劉媛,羅雄麟.深度學(xué)習(xí)研究進展[J].計算機應(yīng)用研究,2014(7):1921?1930.
【關(guān)鍵詞】短期負荷預(yù)測;BP神經(jīng)網(wǎng)絡(luò);模擬退火算法
0 引言
電力的短期負荷預(yù)測是電力系統(tǒng)的一項重要工作,是實現(xiàn)供電可靠、經(jīng)濟管理的基礎(chǔ)。由于電力負荷受到很多因素的影響,負荷預(yù)測方法發(fā)展至今,雖然已經(jīng)積累了很多經(jīng)驗,但是還沒有一種可靠的模型實用于不同地區(qū)。本文針對某市電力負荷的特點,提出了模擬退火B(yǎng)P神經(jīng)網(wǎng)絡(luò)電力短期負荷預(yù)測模型。經(jīng)驗證,該模型在實現(xiàn)負荷預(yù)測方面的可行性。
1 BP神網(wǎng)絡(luò)
人工神經(jīng)網(wǎng)絡(luò)理論的研究始于1890年美國著名心理學(xué)家W.James關(guān)于人腦結(jié)構(gòu)與功能的研究,至今已提出過許多網(wǎng)絡(luò)模型,其中用于預(yù)測的網(wǎng)絡(luò)主要是BP神經(jīng)網(wǎng)絡(luò)。這是因為BP神經(jīng)網(wǎng)絡(luò)主要有以下特點:(1)較強的非線性映射能力;(2)很好的泛化能力;(3)很強的容錯能力和學(xué)習(xí)能力。
D.E. Ru melhart和J.L. Mc Cella nd及其研究小組于1986年研究并設(shè)計出來BP神經(jīng)網(wǎng)絡(luò)(Back-propagationN eutralN etwork)是一種基于誤差反向傳播(BP算法)的多層前向神經(jīng)網(wǎng)絡(luò),采用有導(dǎo)師的訓(xùn)練方式。BP算法的學(xué)習(xí)過程包括信號的正向傳播與誤差的反向傳播兩個過程。三層BP網(wǎng)絡(luò)是一種應(yīng)用很普遍的神經(jīng)網(wǎng)絡(luò),它包括輸入層、隱層和輸出層,如圖1所示,輸入層神經(jīng)元的個數(shù)為輸入信號的維數(shù),隱含節(jié)點的個數(shù)視具體情況而定,輸出層神經(jīng)元的個數(shù)為輸出信號的維數(shù)。BP網(wǎng)絡(luò)的工作流程見圖2所示。
圖1 BP神經(jīng)網(wǎng)絡(luò)
誤差的反向傳播是BP網(wǎng)絡(luò)的一大特點,但是,該網(wǎng)絡(luò)也存在以下一些主要缺陷:(1)訓(xùn)練次數(shù)太多,效率較低;(2)易于陷入局部極小而不能實現(xiàn)全局最優(yōu)。針對這些缺點,本文利用模擬退火算法對BP網(wǎng)絡(luò)進行改進。
2 模擬退火算法
1953年Metropolis等提出的模擬退火算法 (Simulated Annealing,簡稱SA)能夠近似求解具有NP復(fù)雜性的問題,可以避免陷入局部極小的問題。模擬退火算法主要包括狀態(tài)產(chǎn)生函數(shù)、狀態(tài)接受函數(shù)、溫度更新函數(shù)、內(nèi)循環(huán)終止準則和外循環(huán)終止準則。
其工作過程如圖3所示。
圖2 BP網(wǎng)絡(luò)的工作過程
圖3 模擬退火算法的流程圖
3 神經(jīng)網(wǎng)絡(luò)負荷預(yù)測模型
本文設(shè)計的預(yù)測模型中BP神經(jīng)網(wǎng)絡(luò)的輸入層共有8個輸入端,分別用來輸入待測日前四天對應(yīng)時刻的負荷,以及天氣因素中的最低溫度、最高溫度、降雨量和日期類型;因為本模型的輸出為對應(yīng)時刻的負荷,故輸出層只有一個輸出端;隱含節(jié)點的最佳個數(shù)現(xiàn)在沒有一個具體的方法或者公式來確定,通過實驗,本文最終取9個隱含節(jié)點。該模型工作流程見圖4所示。
4 驗證
本文利用該模型及單一的BP神經(jīng)網(wǎng)絡(luò)模型來預(yù)測某市的負荷。由于預(yù)測過程中所用的數(shù)據(jù)性質(zhì)不同,大小差別很大,因此在使用之前,需要對數(shù)據(jù)進行歸一化處理,對預(yù)測結(jié)果需要進行還原。本文所用的轉(zhuǎn)移函數(shù)均為單極性Sigmoid函數(shù)。利用歷史數(shù)據(jù),進行預(yù)測,預(yù)測結(jié)果見圖5所示。預(yù)測誤差分布見圖6所示。
圖4 預(yù)測模型工作流程
圖5 預(yù)測結(jié)果
圖6 預(yù)測誤差
通過以上預(yù)測結(jié)果可知,利用該模型在預(yù)測結(jié)果的準確性方面,比單一BP神經(jīng)網(wǎng)絡(luò)具有很大的優(yōu)勢,同時也驗證了該模型的可行性。
5 結(jié)論
針對單一的BP神經(jīng)網(wǎng)絡(luò)的缺點,本文利用模擬退火算法來優(yōu)化BP神經(jīng)網(wǎng)絡(luò),經(jīng)驗證,該方法是可行的。
【參考文獻】
[1]朱興統(tǒng).基于SA-LSSVM的電力短期負荷預(yù)測[J].科學(xué)技術(shù)與工程,2012,12(24):6171-6173.
[2]師彪,李郁俠,于新花,等.基于改進粒子群模糊神經(jīng)網(wǎng)絡(luò)的短期電力負荷預(yù)測[J].系統(tǒng)工程理論與實踐,2010,30(1):157-166.
[3]李慧,王來運.基于混沌蟻群算法的電力短期負荷預(yù)測[J].北京信息科技大學(xué)學(xué)報,2011,26(4):40-43.
關(guān)鍵詞:BP神經(jīng)網(wǎng)絡(luò);土壤重金屬污染
中圖分類號:TP183 文獻標識碼:A DOI:10.11974/nyyjs.20170533219
1 材料與方法
1.1 研究區(qū)概況
以宜賓市翠屏區(qū)宋家鄉(xiāng)洋坪村萬宜糧油專業(yè)合作社糧食生產(chǎn)功能區(qū)252.07hm2農(nóng)用地為研究區(qū),該區(qū)地處中緯度北亞熱帶季風(fēng)氣候區(qū),在地質(zhì)構(gòu)造上位于川東褶皺帶永川帚狀褶皺帶的帚部;全區(qū)基巖廣布,地層結(jié)構(gòu)、巖石特性形跡明顯,其中紫色巖層更是遍布于丘谷地區(qū),多為侏羅系各組紫色巖層,巖層傾角10~30°,切割淺,田多土少。本區(qū)為川南丘陵區(qū)地貌形狀,海拔340~400m,由于受四川盆地地質(zhì)構(gòu)造的影響,形成紅色泥巖、沙質(zhì)泥巖和沙巖互層沉積,主要土壤類型有:紅棕石骨土、灰棕紫沙土、棕紫泥田、黃紫沙田、紅紫沙田等,土壤質(zhì)地沙壤-壤土,礫石含量較低,土壤耕性較好,經(jīng)檢測:土壤pH值5.94~8.40,微酸性-微堿性;有機質(zhì)含量10.09~32.6g/kg、全氮0.71~1.86g/kg、有效磷0.4~17mg/kg、堿解氮74~151mg/kg、速效鉀93~214mg/kg,耕地土壤養(yǎng)分含量中等豐富,水田地力多為2~3級,旱地多為3~4級。
1.2 土樣采集與處理
土樣采集按照《農(nóng)田土壤環(huán)境質(zhì)量監(jiān)測技術(shù)規(guī)范》(NY/T395-2000)的要求,于2015年9月在作物收獲后秋耕前,根據(jù)研究區(qū)土地利用現(xiàn)狀劃分取樣單元,每13.3~20hm2取一個樣點,共采集耕層土壤樣品10個,耕層按0~20cm,亞耕層按20~40cm用不銹鋼土鉆采集土樣,每個土樣均采用“S”法隨機采集15~20個點,經(jīng)充分混合后,用四分法留取1kg,重點點位留取1.5kg,裝入土袋標明,樣品取回在實驗室蔭干、碾碎備用。
1.3 測定項目及方法
土鈾退拇ㄊ∨圃和寥婪柿涎芯克化驗室進行,對農(nóng)產(chǎn)品質(zhì)量安全有重要影響的Pb、As、Cr、Hg和Cd共5個重金屬元素的化驗分析,分析方法根據(jù)《農(nóng)田土壤環(huán)境質(zhì)量監(jiān)測技術(shù)規(guī)范》(NY/T395-2000)要求確定:As、Hg采用原子熒光光譜法測試,Cd、Cr、Pb采用等離子體質(zhì)譜法測試。
1.4 評價方法
1.4.1 傳統(tǒng)指數(shù)評價法
污染指數(shù)法是檢測評價土壤重金屬污染中最常用的一種方法,主要包括2種,分別為單因子和多因子污染指數(shù)法,多因子指數(shù)法是內(nèi)梅羅指數(shù)法使用最多的一種方法。內(nèi)梅羅指數(shù)法可以計算污染指數(shù)的平均值以及最高值,通常在實際的應(yīng)用過程中,重金屬污染因子個數(shù)減少的情況比較適合應(yīng)用該方法,加權(quán)有效地規(guī)避了權(quán)系數(shù)確定過程中的各種主觀因素,當前該方法的應(yīng)用比較廣泛。但是,這種方法同時也存在不足之處,因為將土壤重金屬污染評價化由復(fù)雜變得過于簡單,過分強調(diào)了環(huán)境質(zhì)量影響中最高值的作用。一般情況下,對土壤進行環(huán)境質(zhì)量評價時,會按照中國土壤環(huán)境質(zhì)量標準(GB15618-1995)中二級標準來確定研究的評價標準(表1)。
1.4.2 BP神經(jīng)網(wǎng)絡(luò)
1.4.2.1 BP神經(jīng)網(wǎng)絡(luò)原理
BP算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò),稱之為BP神經(jīng)網(wǎng)絡(luò),這種神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最多的一種,按照誤差逆?zhèn)鞑ニ惴ㄟM行訓(xùn)練,屬于多層前饋網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)功能比較強,輸入―輸出模式映射關(guān)系的存貯量也比較大,不必對描述該映射關(guān)系的數(shù)學(xué)方程進行揭示。梯度下降法是主要的學(xué)習(xí)規(guī)則,網(wǎng)絡(luò)的閾值和權(quán)值可以通過反向傳播得到適當?shù)恼{(diào)整,最終得出的最小的誤差平方和。BP神經(jīng)網(wǎng)絡(luò)模型拓撲共包括3層,分別是輸入層、隱層和輸出層。
1.4.2.2 BP神經(jīng)網(wǎng)絡(luò)算法
BP算法是目前最廣泛用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之一,其反向傳播包括2個步驟,分別是正向傳播以及反向傳播。
正向傳播就是樣本從輸入層開始經(jīng)過隱單元進行層層處理,之后傳到輸出層中;經(jīng)過這個過程的層層處理,每層中神經(jīng)單元的狀態(tài)都只會影響到下一層神經(jīng)元的狀態(tài)。比較輸出層中的現(xiàn)行輸出以及期望輸出,當現(xiàn)行輸出跟期望輸出不同時,則進行反向傳播過程。
反向傳播就是將誤差信號按照原路返回,從輸出層開始經(jīng)過隱含層對神經(jīng)元的權(quán)系數(shù)進行逐步修改,以最大化的減少誤差信號。
采用非線性S型對數(shù)傳遞函數(shù)logsig函數(shù)應(yīng)用到模型的輸入層到隱含層的過程中,可以有效保證BP神經(jīng)網(wǎng)絡(luò)模型的非線性,線性函數(shù) purlin 函數(shù)應(yīng)用到隱含層到輸出層中,trainlm函數(shù)為網(wǎng)絡(luò)采用的訓(xùn)練函數(shù)。通過反復(fù)迭代運算,達到誤差允許范圍為止,最后固定權(quán)值系數(shù)及閥值,學(xué)習(xí)訓(xùn)練過程結(jié)束,模型建立。
2 基于BP神經(jīng)網(wǎng)絡(luò)的土壤重金屬評價模型
2.1 學(xué)習(xí)樣本的選取
選取BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本可以確定模型,如果采用累加樣本數(shù)量或者反復(fù)訓(xùn)練網(wǎng)絡(luò)的方法,會耗費大量的時間,不利于提高網(wǎng)絡(luò)的預(yù)測精度。因此只有在充分考慮樣本的整體內(nèi)在特征以及規(guī)律的基礎(chǔ)上才能選定樣本。
本文學(xué)習(xí)樣本選用《成都耕地》中耕地重金屬評價土壤樣點數(shù)據(jù)100個,檢驗樣本20個。樣本中土壤等級采用傳統(tǒng)內(nèi)梅羅指數(shù)評價法得出(表3)。
2.2 神經(jīng)網(wǎng)絡(luò)預(yù)測模型的建立
3層前向BP神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)隨意精度接近任何一個非線性函數(shù),而且過程中不需要建立數(shù)學(xué)模型,只要存在輸入以及目標輸出即可。賦予一個輸入模式給網(wǎng)絡(luò),經(jīng)過輸入層―隱蔽層―輸出層層層處理之后,產(chǎn)生一個輸出模式。當實際輸出跟期望輸出不同時,則進行反向傳播,誤差值會沿著原路返回進行逐層修改。只有每個訓(xùn)練模式都滿足特定要求,學(xué)習(xí)過程才能結(jié)束。
圖1為本研究中的土壤重金屬污染評價的BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型,該模型共分為3層,7-6-1為該模型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),輸入層共包括7個神經(jīng)單元。分別是對土壤耕地有重要影響的Pb、As、Cr、Hg和Cd共5個元素,2個限制條件:土壤類型(水田或旱地)和土壤pH值,對土壤類型(水田、旱地)字符作對應(yīng)性數(shù)字映射為水田-0,旱地-1;線性傳遞函數(shù)(purelin)為傳遞函數(shù);隱蔽層共包括6個神經(jīng)元,傳遞函數(shù)為s型傳遞函數(shù)(1ogsig);輸入層包含一個神經(jīng)元,和土壤重金屬污染評價等級對應(yīng),傳遞函數(shù)也是線性傳遞函數(shù)(purelin)。
網(wǎng)絡(luò)學(xué)習(xí)過程中或者網(wǎng)絡(luò)預(yù)測的過程中要實現(xiàn)更好的訓(xùn)練,就要進行輸入矢量分量預(yù)處理以及輸出適量分量預(yù)處理,使用permnmx函數(shù)對網(wǎng)絡(luò)進行歸一化處理,以使樣本輸出和輸入范圍維持在[-1,1]之間。仿真后的數(shù)據(jù)通過postmnmx函數(shù)進行反歸一化處理。
本研究中有100個已知的土樣點參數(shù)數(shù)據(jù)可以當做學(xué)習(xí)樣本的輸出節(jié)點值,在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型中帶入5個影響參數(shù)和2個限制參數(shù)的輸入節(jié)點值,可以自動生成樣本群知識庫以及項目區(qū)土壤重金屬污染評價等級與7個特征⑹的非線性計算關(guān)系,結(jié)果為:R?=0.99998;RMSE=0.01。
在神經(jīng)網(wǎng)絡(luò)推理機中帶入學(xué)習(xí)樣本以及驗證土樣點的7個參數(shù)標準值,利用知識庫將各單元的評價等級求出,然后與已知結(jié)果進行比較,如果誤差≤10%,再將其與傳統(tǒng)內(nèi)梅羅指數(shù)評價結(jié)果進行比較,2個結(jié)果非常貼合。(表4)。
2.3 基于BP網(wǎng)絡(luò)的翠屏區(qū)土壤重金屬污染評價
在BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型被驗證可用后,本文運用該模型,對宜賓市翠屏區(qū)宋家鄉(xiāng)洋坪村萬宜糧油專業(yè)合作社糧食生產(chǎn)功能區(qū)10個耕地土壤樣點進行評價,將其作為仿真部分輸入值代入網(wǎng)絡(luò)程序,即可評價出本區(qū)域耕地土壤重金屬污染等級,對該區(qū)域現(xiàn)代農(nóng)業(yè)規(guī)劃中土壤適宜性和農(nóng)產(chǎn)品質(zhì)量安全溯源提供科學(xué)依據(jù)。
3 結(jié)論
本文主要對研究區(qū)域中的5種重金屬內(nèi)梅羅指數(shù)綜合評價以及神經(jīng)網(wǎng)絡(luò)綜合評價的結(jié)果進行對比分析,對于該地區(qū)的污染水平和趨勢,兩者反映的基本一致,神經(jīng)網(wǎng)絡(luò)綜合法評價結(jié)果對細小區(qū)域的評價更加適合,如土樣1根據(jù)內(nèi)梅羅指數(shù)法的結(jié)果顯示,該區(qū)域評價等級為2級、尚清潔,但應(yīng)用BP神經(jīng)網(wǎng)絡(luò)評價為1級、清潔,這個評價結(jié)果比較符合當?shù)氐奈廴緺顩r。
借助BP神經(jīng)網(wǎng)絡(luò)方法建立起土壤重金屬污染等級與區(qū)域種植業(yè)適宜性和農(nóng)產(chǎn)品質(zhì)量安全溯源之間構(gòu)建起直接的聯(lián)系,管理決策部門可以從這個方向出發(fā)制定現(xiàn)代農(nóng)業(yè)規(guī)劃的應(yīng)對措施,從而更好的協(xié)調(diào)社會經(jīng)濟活動跟土壤環(huán)境之間的關(guān)系,從而有效的預(yù)防土壤重金屬污染,進而保障農(nóng)產(chǎn)品的質(zhì)量安全。
參考文獻
[1]李向.基于BP神經(jīng)網(wǎng)絡(luò)的土壤重金屬污染評價方法――以包頭土壤環(huán)境質(zhì)量評價為例[J].中國農(nóng)學(xué)通報,2012,28(02):250-256.
神經(jīng)科研究 神經(jīng)內(nèi)科論文 神經(jīng)網(wǎng)絡(luò)技術(shù) 神經(jīng)網(wǎng)絡(luò)論文 神經(jīng)外科論文 紀律教育問題 新時代教育價值觀