前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文，相信會(huì)為您的寫作帶來(lái)幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文第1篇

通信技術(shù)的快速發(fā)展引發(fā)了對(duì)短數(shù)據(jù)信號(hào)檢測(cè)問(wèn)題更為苛刻的要求。該文根據(jù)通信信號(hào)星座的固有特點(diǎn)，從泛函網(wǎng)絡(luò)角度出發(fā)，提出短數(shù)據(jù)信號(hào)盲檢測(cè)的泛函網(wǎng)絡(luò)方法。設(shè)計(jì)一種基于多輸入多輸出泛函網(wǎng)絡(luò)框架下的信號(hào)盲處理方法的基本思路，預(yù)計(jì)為通信系統(tǒng)的信號(hào)直接盲檢測(cè)提供一種嶄新思路，為實(shí)際通信系統(tǒng)開(kāi)發(fā)提供借鑒。

【關(guān)鍵詞】盲檢測(cè) 泛函網(wǎng)絡(luò) MIMO

1 引言

隨著下一代網(wǎng)絡(luò)、物聯(lián)網(wǎng)等通信技術(shù)日益創(chuàng)新和迅速發(fā)展，促使信號(hào)盲檢測(cè)技術(shù)研究者不斷探索更新的技術(shù)滿足當(dāng)前不斷提高的無(wú)線信號(hào)傳輸速率和增強(qiáng)的傳輸信道的時(shí)變性。對(duì)新技術(shù)的研究主要在于加強(qiáng)盲檢測(cè)算法的適用性和自適應(yīng)能力、增強(qiáng)降噪性能、誤碼性能、降低系統(tǒng)開(kāi)銷減少能耗、降低運(yùn)算復(fù)雜度和加快收斂速度等方面。基于這些工作，國(guó)內(nèi)外發(fā)展了一些性能優(yōu)秀的盲檢測(cè)算法。

有一種是基于二階統(tǒng)計(jì)量的盲均衡算法（Second Order Statistics， SOS）[1][2]，這類算法在計(jì)算過(guò)程中涉及信道階數(shù)，要求對(duì)信道階數(shù)的可辨識(shí)性非常敏感，而實(shí)際運(yùn)用中容易受到干擾和噪聲影響影響算法穩(wěn)定性。

另一種是基于有限字符集約束的直接利用字符集盲檢測(cè)算法[3]，該種盲算法對(duì)于復(fù)雜信號(hào)算法復(fù)雜度較高、實(shí)用性較低，未見(jiàn)相關(guān)文獻(xiàn)對(duì)復(fù)雜信號(hào)情況的討論。

還有是基于人工神經(jīng)網(wǎng)絡(luò)的盲檢測(cè)方法[4-10]，在文獻(xiàn)[5]中提出和發(fā)展了支持向量機(jī)框架下的MPSK信號(hào)盲檢測(cè)算法，該算法能夠簡(jiǎn)化信號(hào)檢測(cè)域值的選擇。然而，在復(fù)數(shù)域信號(hào)檢測(cè)中算法復(fù)雜度極高。在文獻(xiàn)[6]中介紹了采用有限脈沖響應(yīng)濾波器和泛函連接人工神經(jīng)網(wǎng)絡(luò)聯(lián)合的方法設(shè)計(jì)自適應(yīng)非線性均衡器，有效改善算法復(fù)雜度、誤碼性能較好。該方法取消了傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)中的隱層，結(jié)構(gòu)相對(duì)簡(jiǎn)單，在訓(xùn)練過(guò)程時(shí)的計(jì)算負(fù)載較低。文獻(xiàn)[7][8]分別提出了兩種基于反饋神經(jīng)網(wǎng)絡(luò)的盲均衡方法，并發(fā)展了一種低復(fù)雜度的流水線（Pipelined）判決反饋神經(jīng)網(wǎng)絡(luò)均衡器的設(shè)計(jì)方法。文獻(xiàn)[9]提出了基于反饋網(wǎng)絡(luò)模型的Hopfield神經(jīng)網(wǎng)絡(luò)的信號(hào)直接盲檢測(cè)的初步思路，但是對(duì)于密集信號(hào)的盲檢測(cè)能力未作相關(guān)論述。當(dāng)然除了列舉的一系列文獻(xiàn)中提及的方法外，基于神經(jīng)網(wǎng)絡(luò)的通信信號(hào)盲檢測(cè)方法還有很多種，不再一一列舉。

根據(jù)以上研究，目前基于傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的信號(hào)盲處理方法對(duì)于通信信號(hào)檢測(cè)中存在的局部極小化、收斂速度慢、自適應(yīng)性能差等問(wèn)題還沒(méi)有能夠很好的解決，而且在多值復(fù)數(shù)域信號(hào)的研究領(lǐng)域中還涉及較少。

泛函網(wǎng)絡(luò)[13]（Functional Networks， FN）是一種基于人工神經(jīng)網(wǎng)絡(luò)的新興的研究方向。是人工神經(jīng)網(wǎng)絡(luò)的拓展，通過(guò)學(xué)習(xí)過(guò)程中神經(jīng)元之間自適應(yīng)調(diào)整提高系統(tǒng)的適用性和自適應(yīng)性能。對(duì)FN神經(jīng)元優(yōu)化的問(wèn)題是目前研究的熱點(diǎn)。目前，F(xiàn)N在很多領(lǐng)域都得到很好的應(yīng)用。比如在線性及非線性回歸、非線性系統(tǒng)辨識(shí)和混沌時(shí)間序列預(yù)測(cè)，以及泛函方程求解等領(lǐng)域[10]；特征選擇問(wèn)題[11]；分類及回歸問(wèn)題[12]；植物生長(zhǎng)動(dòng)態(tài)建模[13]；軟件可靠性分析[14]。文獻(xiàn)[15]通過(guò)對(duì)比FN和人工神經(jīng)網(wǎng)絡(luò)ANN在捕魚(yú)的漁獲量預(yù)測(cè)中試驗(yàn)表明，證明了FN比人工神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)和泛化能力均強(qiáng)[16]。

通過(guò)以上研究，表明泛函網(wǎng)絡(luò)可以用于優(yōu)化傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)，解決一些傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)難以解決的問(wèn)題。

無(wú)線通信信號(hào)在傳輸過(guò)程中受到氣候、電磁環(huán)境等各種干擾。本文根據(jù)通信信號(hào)星座的固有特點(diǎn)，結(jié)合FN模型結(jié)構(gòu)特征，提出一種短數(shù)據(jù)信號(hào)檢測(cè)的FN方法。提出一種基于多輸入多輸出泛函網(wǎng)絡(luò)（MIMOFN）框架下的信號(hào)盲檢測(cè)方法的基本思路。

2 系統(tǒng)模型

為實(shí)現(xiàn)無(wú)線通信信號(hào)直接盲檢測(cè)，首要的條件就需要設(shè)計(jì)一個(gè)多輸入多輸出（MIMO）的模型。FN各個(gè)神經(jīng)元之間的連接沒(méi)有權(quán)值，每個(gè)神經(jīng)元都可以獨(dú)立學(xué)習(xí)，互不相同，可相互間可以輸出不同的數(shù)據(jù)，之間的連線用來(lái)表示數(shù)據(jù)的流動(dòng)方向。FN的函數(shù)結(jié)構(gòu)存在多樣性，沒(méi)有唯一的結(jié)構(gòu)可以描述所有的泛函網(wǎng)絡(luò)，同樣也沒(méi)有唯一的函數(shù)可以表示所有的泛函網(wǎng)絡(luò)。不過(guò)為保證整個(gè)系統(tǒng)有較好的泛化能力，根據(jù)每個(gè)系統(tǒng)自身的特點(diǎn)都能找到一個(gè)最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。在這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)系統(tǒng)中，根據(jù)結(jié)構(gòu)幾何參數(shù)對(duì)系統(tǒng)輸入輸出的影響，設(shè)計(jì)神經(jīng)元的輸入輸出的流向和數(shù)量。盡可能減小函數(shù)基規(guī)模。根據(jù)這些特點(diǎn)將單輸入單輸出（SISO）泛函網(wǎng)絡(luò)模型進(jìn)行拓展推廣。設(shè)計(jì)一個(gè)多輸入多輸出的泛函網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖1。

如圖1所示，第一層和最后一層分別是是輸入、輸出層。第二層為第一神經(jīng)函數(shù)處理層，包含F(xiàn)，G，J，K等神經(jīng)元。第三層為第二神經(jīng)函數(shù)處理層，包含L，N，P，Q等神經(jīng)元，第三層包括若干個(gè)中間存儲(chǔ)單元層，用來(lái)存儲(chǔ)由第二層神經(jīng)元產(chǎn)生的信息。根據(jù)該拓?fù)浣Y(jié)構(gòu)，大致推出用于信號(hào)盲盲檢測(cè)的MIMOFN框圖如圖2。

本文關(guān)于MIMOFN輸入方面主要基于矩陣分解理論。這里設(shè)計(jì)輸入信號(hào)W，通過(guò)網(wǎng)絡(luò)的運(yùn)行使得待檢測(cè)信號(hào)在其真實(shí)信號(hào)空間中再現(xiàn)。本文假設(shè)接收端信號(hào)為經(jīng)過(guò)模數(shù)轉(zhuǎn)換和數(shù)字正交混頻、數(shù)字下變頻和匹配濾波后所得標(biāo)準(zhǔn)信號(hào)。通信信號(hào)接收方程、盲檢測(cè)方程可表述如下：

（1）

XN=SΓH （2）

神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文第2篇

關(guān)鍵詞： 設(shè)施蔬菜病害； 預(yù)警； LVQ神經(jīng)網(wǎng)絡(luò)； BP神經(jīng)網(wǎng)絡(luò)； 黑星病

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）10-0189-03

Abstract： In order to make better in early warning of facilities vegetable diseases， two kinds of algorithms of LVQ neural network and BP neural network are used to construct static early-warning models of facilities vegetable diseases. In order to test the feasibility and applicability of two models， this paper takes cucumber scab for example and makes comparation of the two models. The result shows that two kinds of models are both able to better and accurately realize the forecasting of cucumber scab. It turns out that BP neural network model， which costs less time， is more effective in practice.

Key words： facilities vegetable diseases； early warning； LVQ neural network； BP neural network； cucumber scab

預(yù)警是一個(gè)軍事術(shù)語(yǔ)，指用來(lái)對(duì)付突然襲擊的防范措施，是組織的一種信息反饋機(jī)制，后來(lái)逐步引申到現(xiàn)代政治、經(jīng)濟(jì)、技術(shù)、醫(yī)療、災(zāi)變、生態(tài)、治安等自然和社會(huì)領(lǐng)域[1]。當(dāng)下，預(yù)警在重大氣象災(zāi)害方面起到重要作用。而創(chuàng)新地把預(yù)警應(yīng)用于設(shè)施蔬菜病害方面，利用數(shù)據(jù)挖掘方法，探尋設(shè)施環(huán)境條件與病害的關(guān)聯(lián)關(guān)系，把以診治為主的設(shè)施蔬菜病害防控模式轉(zhuǎn)變?yōu)橐灶A(yù)防為主，降低了病害防控成本，減少了農(nóng)藥污染，大幅度地提高蔬菜產(chǎn)量和質(zhì)量，在農(nóng)業(yè)科技和食品安全方面發(fā)揮重要作用[2]。文中以棚室黃瓜為例，構(gòu)建黃瓜病害靜態(tài)預(yù)警模型。通過(guò)實(shí)時(shí)地對(duì)溫度，濕度，土壤酸堿度等自然條件的測(cè)量，對(duì)病蟲(chóng)害的發(fā)生進(jìn)行預(yù)測(cè)，再根據(jù)預(yù)測(cè)結(jié)果調(diào)整當(dāng)前環(huán)境，從而達(dá)到黃瓜病害預(yù)警的目的。運(yùn)用LVQ神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)兩種算法建立黃瓜黑星病靜態(tài)預(yù)警模型并比較兩種模型的優(yōu)劣。結(jié)果表明，在以黃瓜黑星病為例的蔬菜病害靜態(tài)預(yù)警實(shí)驗(yàn)中，運(yùn)用BP神經(jīng)網(wǎng)絡(luò)算法所構(gòu)建的模型優(yōu)于LVQ神經(jīng)網(wǎng)絡(luò)，在實(shí)際的蔬菜病害靜態(tài)預(yù)警的應(yīng)用中更有參考價(jià)值。

1 模型的構(gòu)建及分析

以黃瓜黑星病為例，分別使用LVQ神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)兩種算法構(gòu)建黃瓜黑星病靜態(tài)預(yù)警模型，并從時(shí)間、空間復(fù)雜度和模型預(yù)測(cè)的確診率三個(gè)方面對(duì)兩種模型的適用性和可行性進(jìn)行比較分析。

1.1 樣本指標(biāo)的選取與數(shù)據(jù)收集

構(gòu)建基于LVQ神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)算法的黃瓜黑星病靜態(tài)預(yù)警模型，其基礎(chǔ)的工作是進(jìn)行黃瓜黑星病樣本指標(biāo)的選取和對(duì)所選取的樣本指標(biāo)進(jìn)行數(shù)據(jù)收集。這兩項(xiàng)工作為模型的構(gòu)建提供數(shù)據(jù)支持。

1.1.1 樣本指標(biāo)的選取

黃瓜是一種常見(jiàn)的蔬菜，甘甜爽口，清淡香脆，是城鎮(zhèn)居民常備的家常菜之一。黃瓜在生長(zhǎng)過(guò)程中容易發(fā)生各種病害而導(dǎo)致減產(chǎn)，如霜霉病、白粉病、黑星病等等。因此，在黃瓜的生長(zhǎng)過(guò)程中，可通過(guò)對(duì)當(dāng)前溫度，光照，土壤ph值等環(huán)境條件的測(cè)量，預(yù)測(cè)黃瓜得病的可能性而調(diào)整當(dāng)前環(huán)境。文中以黃瓜黑星病為例測(cè)試模型的性能。此病的病因?yàn)楣席忦柚︽呔【跃z體附著在病株殘?bào)w上，在田間、土壤、棚架中越冬，成為翌年侵染源，也可以分生孢子附在種子表面或以菌絲體潛伏在種皮內(nèi)越冬，成為近距離傳播的主要來(lái)源。病菌在棚室內(nèi)的潛育期一般3～10天。整個(gè)生育期均可侵染發(fā)病，幼瓜和成瓜均可發(fā)病。幼瓜受害，病斑處組織生長(zhǎng)受抑制，引起瓜條彎曲、畸形。該病菌在低溫高濕等一系列復(fù)合條件下容易發(fā)生和流行。一般在2月中下旬就開(kāi)始發(fā)病，到5月份以后氣溫高時(shí)病害依然發(fā)生[3-4]。文中選用容易感染此種病害的品種津研四號(hào)進(jìn)行試驗(yàn)[5-6]。經(jīng)查閱資料可知：黃瓜黑星病發(fā)病的因素有土壤ph值，空氣相對(duì)濕度，溫度，光照，黃瓜栽培品種等等。其中土壤ph值，空氣相對(duì)濕度，溫度這三個(gè)因素在黃瓜發(fā)病過(guò)程中起主要作用。致使黃瓜黑星病發(fā)病的各因素范圍如下：ph值：2.5-7 ； 空氣相對(duì)濕度：>=90；溫度：15℃-25℃。

1.1.2 數(shù)據(jù)收集

黃瓜黑星病的發(fā)病是一個(gè)過(guò)程，是多個(gè)發(fā)病因素相互交叉、共同作用的產(chǎn)物。根據(jù)黃瓜病害書(shū)籍資料，搜集所需的數(shù)據(jù)。共330組數(shù)據(jù)，290組數(shù)據(jù)作為訓(xùn)練集，40組數(shù)據(jù)作為測(cè)試集。290組訓(xùn)練集作為樣本數(shù)，每個(gè)樣本數(shù)中有三個(gè)輸入特征數(shù)據(jù)，即土壤ph，空氣相對(duì)濕度，溫度等三類，所有樣本數(shù)共分為2個(gè)類別，即正常與異常。分別用LVQ神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)兩種算法測(cè)試模型的可行性并對(duì)其進(jìn)行比較分析，為預(yù)測(cè)模型的選擇提供參考。

1.2 LVQ神經(jīng)網(wǎng)絡(luò)預(yù)警模型

構(gòu)建基于LVQ神經(jīng)網(wǎng)絡(luò)的黃瓜黑星病靜態(tài)預(yù)警模型，測(cè)試模型的可行性，并對(duì)模型進(jìn)行優(yōu)化，進(jìn)而比較優(yōu)化前、后的黃瓜黑星病預(yù)警模型，分析模型的適用性。

1.2.1 LVQ神經(jīng)網(wǎng)絡(luò)思想

LVQ神經(jīng)網(wǎng)絡(luò)[7-8]（Learning Vector Quantization）是在有“導(dǎo)師”狀態(tài)下對(duì)競(jìng)爭(zhēng)層進(jìn)行訓(xùn)練的一種學(xué)習(xí)算法，屬于前向有監(jiān)督神經(jīng)網(wǎng)絡(luò)類型，在模式識(shí)別和優(yōu)化領(lǐng)域有著廣泛的應(yīng)用。LVQ神經(jīng)網(wǎng)絡(luò)由三層組成，即輸入層、隱含層和輸出層，網(wǎng)絡(luò)在輸入層與隱含層間為完全連接，而在隱含層與輸出層間為部分連接，每個(gè)輸出層神經(jīng)元與隱含層神經(jīng)元的不同組相連接。隱含層和輸出層神經(jīng)元之間的連接權(quán)值固定為1。在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，這些權(quán)值被修改。隱含層神經(jīng)元和輸出神經(jīng)元都具有二進(jìn)制輸出值。當(dāng)某個(gè)輸入模式被送至網(wǎng)絡(luò)時(shí)，參考矢量最接近輸入模式的隱含神經(jīng)元因獲得激發(fā)而贏得競(jìng)爭(zhēng)，因而允許它產(chǎn)生一個(gè)“1”，而其他隱含層神經(jīng)元都被迫產(chǎn)生“0”。與包含獲勝神經(jīng)元的隱含層神經(jīng)元組相連接的輸出神經(jīng)元也發(fā)出“1”，而其他輸出神經(jīng)元均發(fā)出“0” 。網(wǎng)絡(luò)結(jié)構(gòu)如圖1：

1.2.2 網(wǎng)絡(luò)創(chuàng)建及測(cè)試

在Matlab R2012b的平臺(tái)上進(jìn)行預(yù)測(cè)。建立一個(gè)3層的向量量化神經(jīng)網(wǎng)絡(luò)函數(shù)，隱含層神經(jīng)元首次嘗試設(shè)置為15個(gè)，學(xué)習(xí)速率設(shè)置為默認(rèn)值0.01，權(quán)值學(xué)習(xí)函數(shù)也設(shè)置為默認(rèn)函數(shù)：net=newlvq（minmax（P_train），15，[rate_B rate_M]，0.01，‘learnlv1’）。

利用LVQ神經(jīng)網(wǎng)絡(luò)算法開(kāi)始模型訓(xùn)練，訓(xùn)練結(jié)束后將會(huì)生成相應(yīng)的神經(jīng)網(wǎng)絡(luò)，再通過(guò)相關(guān)驗(yàn)證數(shù)據(jù)的輸入將計(jì)算出的預(yù)測(cè)值與期望輸出進(jìn)行比較分析，得出相關(guān)的結(jié)論。40組數(shù)據(jù)作為測(cè)試集進(jìn)行10次預(yù)測(cè)，測(cè)試結(jié)果如表1：

經(jīng)計(jì)算，當(dāng)隱含層神經(jīng)元為15個(gè)時(shí)，正常、異常黃瓜的平均確診率分別為91.508%、91.05%，平均確診率高達(dá)90%，此設(shè)定準(zhǔn)確率較高。經(jīng)過(guò)多次運(yùn)行，運(yùn)行時(shí)間數(shù)量級(jí)皆為1級(jí)。表明LVQ神經(jīng)網(wǎng)絡(luò)用于模式識(shí)別是有效的，在黃瓜黑星病的預(yù)警中具有很大的參考價(jià)值和指導(dǎo)意義。

1.2.3 隱含層神經(jīng)元個(gè)數(shù)優(yōu)化

在LVQ神經(jīng)網(wǎng)絡(luò)算法基礎(chǔ)上，為了得到可靠穩(wěn)定的模型，提高正確率，可使用帶有交叉驗(yàn)證功能的LVQ神經(jīng)網(wǎng)絡(luò)程序進(jìn)行預(yù)測(cè)。此功能可確定最佳的隱含層神經(jīng)元個(gè)數(shù)。常見(jiàn)的交叉驗(yàn)證形式之一為K-fold cross-validation。K次交叉驗(yàn)證，初始采樣分割成K個(gè)子樣本，一個(gè)單獨(dú)的子樣本被保留作為驗(yàn)證模型的數(shù)據(jù)，其他K-1個(gè)樣本用來(lái)訓(xùn)練。交叉驗(yàn)證重復(fù)K次，每個(gè)子樣本驗(yàn)證一次，平均K次的結(jié)果或者使用其他結(jié)合方式，最終得到一個(gè)單一估測(cè)。這個(gè)方法的優(yōu)勢(shì)在于，同時(shí)重復(fù)運(yùn)用隨機(jī)產(chǎn)生的子樣本進(jìn)行訓(xùn)練和驗(yàn)證，每次的結(jié)果驗(yàn)證一次。在此采用常用的5折交叉驗(yàn)證法進(jìn)行訓(xùn)練。

每一次網(wǎng)絡(luò)的訓(xùn)練都會(huì)產(chǎn)生不同的最佳隱含層神經(jīng)元個(gè)數(shù)，這是由于每次訓(xùn)練集和測(cè)試集是由計(jì)算機(jī)隨機(jī)產(chǎn)生，且每次訓(xùn)練過(guò)程都不相同造成的。經(jīng)過(guò)多次實(shí)驗(yàn)，發(fā)現(xiàn)隱含層神經(jīng)元個(gè)數(shù)在11～20范圍內(nèi)較為適宜。運(yùn)行一次帶有交叉驗(yàn)證功能的LVQ算法程序需要的時(shí)間數(shù)量級(jí)是3級(jí)。運(yùn)行時(shí)間較長(zhǎng)，但在確診率上沒(méi)有明顯的改善。因此，帶有交叉驗(yàn)證功能的LVQ神經(jīng)網(wǎng)絡(luò)模型在確定無(wú)交叉驗(yàn)證功能的LVQ神經(jīng)網(wǎng)絡(luò)模型隱含層神經(jīng)元個(gè)數(shù)范圍方面起重要的借鑒作用，但由于其所需預(yù)測(cè)時(shí)間較長(zhǎng)，不適用于實(shí)際預(yù)測(cè)的應(yīng)用。

1.3 BP神經(jīng)網(wǎng)絡(luò)預(yù)警模型

構(gòu)建基于BP神經(jīng)網(wǎng)絡(luò)的黃瓜黑星病靜態(tài)預(yù)警模型，調(diào)整網(wǎng)絡(luò)參數(shù)進(jìn)行仿真訓(xùn)練，并分析模型的適用性。

1.3.1 BP神經(jīng)網(wǎng)絡(luò)思想

BP神經(jīng)網(wǎng)絡(luò)[8-10] （Back Propagation）是一種采用誤差反向傳播算法的多層前向神經(jīng)網(wǎng)絡(luò)，其主要特點(diǎn)是信息正向傳播，誤差反向傳播。在傳遞過(guò)程中，輸入信號(hào)經(jīng)過(guò)輸入層、隱含層的逐層處理，直至輸出層，若在輸出層得不到期望值，則反向傳播，根據(jù)預(yù)測(cè)誤差調(diào)整權(quán)值和閾值，使BP神經(jīng)網(wǎng)絡(luò)的輸出不斷逼近預(yù)測(cè)輸出值。網(wǎng)絡(luò)結(jié)構(gòu)如圖2：

1.3.2 網(wǎng)絡(luò)創(chuàng)建及測(cè)試

同樣在matlab R2012b的平臺(tái)上進(jìn)行預(yù)測(cè)。在該三層網(wǎng)絡(luò)中，第一層傳遞函數(shù)默認(rèn)為‘tansig’， 第二層傳遞函數(shù)設(shè)置為‘purelin’，訓(xùn)練函數(shù)設(shè)置為‘trainlm'，隱含層神經(jīng)元個(gè)數(shù)設(shè)置為10個(gè)，輸出層神經(jīng)元為1個(gè)。創(chuàng)建該網(wǎng)絡(luò)，進(jìn)行訓(xùn)練，仿真并測(cè)試返回結(jié)果。相關(guān)程序?yàn)椋?/p>

net=newff（minmax（P_train），[10 1]，{‘tansig’，‘purelin’}，‘trainlm’）

net.trainParam.epochs=1000；

net.trainParam.show=10；

net.trainParam.lr=0.1；

net.trainParam.goal=0.1；

net=train（net，P_train，Tc_train）；

T_sim=sim（net，P_test）；

for i=1：length（T_sim）

if T_sim（i）

T_sim（i）=1；

else

T_sim（i）=2；

end

end

對(duì)于多層前饋網(wǎng)絡(luò)來(lái)說(shuō)，隱層節(jié)點(diǎn)數(shù)的確定是成敗的關(guān)鍵。若數(shù)量太少，則網(wǎng)絡(luò)所能獲取的用以解決問(wèn)題的信息太少；若數(shù)量太多，不僅增加訓(xùn)練時(shí)間，更重要的是隱層節(jié)點(diǎn)過(guò)多還可能出現(xiàn)所謂“過(guò)渡吻合”問(wèn)題，即測(cè)試誤差增大導(dǎo)致泛化能力下降，因此合理選擇隱層節(jié)點(diǎn)數(shù)非常重要。關(guān)于隱層數(shù)及其節(jié)點(diǎn)數(shù)的選擇比較復(fù)雜，一般原則是：在能正確反映輸入輸出關(guān)系的基礎(chǔ)上，應(yīng)選用較少的隱層節(jié)點(diǎn)數(shù)，以使網(wǎng)絡(luò)結(jié)構(gòu)盡量簡(jiǎn)單。隱含層神經(jīng)元個(gè)數(shù)選擇是一個(gè)較為復(fù)雜的問(wèn)題，往往需要設(shè)計(jì)者多次試驗(yàn)來(lái)決定，因而不存在一個(gè)理想的解析式來(lái)表示。確定隱含層神經(jīng)元個(gè)數(shù)方法可參考公式[n2=log2n1]和[n2=2×n1+1]（是輸入層神經(jīng)元數(shù)，是隱含層神經(jīng)元數(shù)）[11]。對(duì)黃瓜黑星病預(yù)測(cè)實(shí)驗(yàn)而言，=3，則網(wǎng)絡(luò)訓(xùn)練需要從隱含層神經(jīng)元個(gè)數(shù)為=1訓(xùn)練到個(gè)數(shù)為=7。理論上最佳隱含層神經(jīng)元個(gè)數(shù)在1～7個(gè)左右，但仍需要多次測(cè)試來(lái)確定。適當(dāng)增加隱含層神經(jīng)元個(gè)數(shù)可以減少訓(xùn)練誤差。經(jīng)驗(yàn)證，當(dāng)隱含層神經(jīng)元個(gè)數(shù)設(shè)為7時(shí)，進(jìn)行10次預(yù)測(cè)，模型測(cè)試確診率較高。如此既保證正確率，又能較節(jié)省時(shí)間。預(yù)測(cè)結(jié)果如表2：

如表2，經(jīng)計(jì)算，在10次預(yù)測(cè)中，正常黃瓜平均確診率為91.511%，異常黃瓜平均確診率為94.542%。運(yùn)行時(shí)間數(shù)量級(jí)為0級(jí)，速度更快。經(jīng)多次運(yùn)行、測(cè)試總結(jié)可得，BP神經(jīng)網(wǎng)絡(luò)模型在準(zhǔn)確率上不次于LVQ神經(jīng)網(wǎng)絡(luò)模型，在時(shí)間上也遠(yuǎn)快于LVQ神經(jīng)網(wǎng)絡(luò)模型。由此看出，BP神經(jīng)網(wǎng)絡(luò)算法在黃瓜黑星病的預(yù)測(cè)過(guò)程中，效果更好，參考價(jià)值更高。

1.4 兩種模型比較分析

算法，是預(yù)測(cè)黃瓜黑星病的核心。在評(píng)價(jià)哪種算法更適用于黑星病的預(yù)警時(shí)，應(yīng)兼顧時(shí)間、空復(fù)雜度和確診率。這兩種模型空間復(fù)雜度基本相同。相比空間需求，實(shí)際操作中，我們更關(guān)注程序運(yùn)行的時(shí)間和確診率。兩種神經(jīng)網(wǎng)絡(luò)算法在訓(xùn)練預(yù)測(cè)過(guò)程中各有利弊，但預(yù)測(cè)結(jié)果的準(zhǔn)確性都高達(dá)90%左右。因此，時(shí)間開(kāi)銷便成了兩種模型適用性的最重要因素。分別運(yùn)行兩種模型20次，得到程序運(yùn)行的時(shí)間開(kāi)銷折線圖如圖3。由圖3可知，運(yùn)用BP神經(jīng)網(wǎng)絡(luò)可快速得到預(yù)測(cè)結(jié)果，在實(shí)際運(yùn)用過(guò)程中實(shí)時(shí)性更突出。

2 總結(jié)

本文研究發(fā)現(xiàn)兩種模型均可用于黃瓜黑星病的預(yù)警，模型預(yù)測(cè)的準(zhǔn)確率相差無(wú)幾高達(dá)90%左右。這進(jìn)一步表明了數(shù)據(jù)的準(zhǔn)確性、指標(biāo)建立的合理性和模型建立的可行性。也證明把預(yù)警應(yīng)用于設(shè)施蔬菜病害方面，利用數(shù)據(jù)挖掘方法，探尋設(shè)施環(huán)境條件與病害的關(guān)聯(lián)關(guān)系這一構(gòu)想的合理性和可操作性。

若結(jié)合結(jié)果的準(zhǔn)確率和時(shí)間開(kāi)銷，BP神經(jīng)網(wǎng)絡(luò)模型在實(shí)際的黃瓜黑星病及其他病害的預(yù)測(cè)過(guò)程中比LVQ神經(jīng)網(wǎng)絡(luò)模型更勝一籌，具有更高的時(shí)效性。

參考文獻(xiàn)：

[1] 霍松濤.旅游目的地旅游預(yù)警系統(tǒng)研究[D].開(kāi)封：河南大學(xué)，2006.

[2] 邵峰晶，于忠清.數(shù)據(jù)挖掘原理與算法[M].北京：電子工業(yè)出版社，2003.

[3] 王生榮，楊升炯.黃瓜黑星病菌生物學(xué)特性及流行規(guī)律研究[J].甘肅科學(xué)學(xué)報(bào)，1999，11（3）：83-86.

[4] 易齊，王蔚，王傳英，等.黃瓜黑星病及其蔓延為害現(xiàn)狀[J].植物保護(hù)，1987，13（6）：40-41.

[5] 許勇，朱其杰.黃瓜黑星病抗病性離體子葉接種鑒定方法[J].北京農(nóng)業(yè)大學(xué)學(xué)報(bào)，1994（1）：31-34.

[6] 朱建蘭，陳秀蓉.黃瓜品種對(duì)黑星病的抗性鑒定結(jié)果[J].甘肅農(nóng)業(yè)科技，1998（7）：32-33.

[7] 段明秀，何迎生.基于LVQ神經(jīng)網(wǎng)絡(luò)的手寫字母識(shí)別[J].吉首大學(xué)學(xué)報(bào)，2010，31（2）：41-43.

[8] 史忠植.神經(jīng)網(wǎng)絡(luò)[M].北京： 高等教育出版社，2009.

[9] 王文劍.BP神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化[J].計(jì)算機(jī)工程與設(shè)計(jì)，2000，21（6）：8-10.

神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文第3篇

摘要目前，神經(jīng)計(jì)算及其應(yīng)用已經(jīng)滲透到多個(gè)學(xué)科，并在信號(hào)處理、智能控制、模式識(shí)別、機(jī)器視覺(jué)、非線性優(yōu)化、自動(dòng)目標(biāo)識(shí)別、知識(shí)處理、遙感技術(shù)等領(lǐng)域取得了豐碩的成果。神經(jīng)計(jì)算不僅是科學(xué)家的興趣所在，還受到了各國(guó)政府和軍隊(duì)等權(quán)力部門的密切關(guān)注，世界上許多國(guó)家和地區(qū)的政府及工業(yè)界都十分關(guān)注并積極投資神經(jīng)計(jì)算技術(shù)的研究，其進(jìn)展不僅將促進(jìn)科學(xué)和技術(shù)的進(jìn)步，還會(huì)對(duì)各國(guó)的國(guó)力產(chǎn)生一定的影響。

本文針對(duì)神經(jīng)計(jì)算中亟需解決的5個(gè)問(wèn)題進(jìn)行了研究，包括加快神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度、增強(qiáng)神經(jīng)網(wǎng)絡(luò)的可理解性、設(shè)計(jì)出易于使用的工程化神經(jīng)計(jì)算方法、更好地模擬生物神經(jīng)系統(tǒng)以及將神經(jīng)計(jì)算與傳統(tǒng)人工智能技術(shù)相結(jié)合。本文的創(chuàng)造性研究成果主要有：

(1)提出了一個(gè)快速神經(jīng)分類器FAC和一個(gè)快速神經(jīng)回歸估計(jì)器FANRE，實(shí)驗(yàn)結(jié)果表明，這兩個(gè)算法學(xué)習(xí)速度快、歸納能力強(qiáng)，在性能上明顯優(yōu)于目前常用的一些神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)算法和回歸估計(jì)算法。在此基礎(chǔ)上，成功地將FAC應(yīng)用于石油勘探巖性識(shí)別領(lǐng)域。

(2)提出了一個(gè)神經(jīng)網(wǎng)絡(luò)規(guī)則抽取算法STARE，實(shí)驗(yàn)結(jié)果表明，STARE可以從訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中抽取出保真度高、精確、簡(jiǎn)潔的符號(hào)規(guī)則，從而較好地增強(qiáng)神經(jīng)網(wǎng)絡(luò)的可理解性。在此基礎(chǔ)上，提出了一個(gè)基于神經(jīng)計(jì)算的分類規(guī)則挖掘框架NEUCRUM，并成功地將其應(yīng)用于臺(tái)風(fēng)預(yù)報(bào)領(lǐng)域。

(3)提出了一種基于遺傳算法的選擇性神經(jīng)網(wǎng)絡(luò)集成方法GASEN，實(shí)驗(yàn)結(jié)果表明，GASEN的性能優(yōu)于目前常用的一些方法。設(shè)計(jì)了一種多視角神經(jīng)網(wǎng)絡(luò)集成方法VS，將神經(jīng)網(wǎng)絡(luò)集成應(yīng)用于多視角人臉識(shí)別，不需進(jìn)行偏轉(zhuǎn)角度預(yù)估計(jì)就能取得很高的識(shí)別精度。設(shè)計(jì)了一種新型結(jié)論組合方法和一種二級(jí)集成結(jié)構(gòu)，將神經(jīng)網(wǎng)絡(luò)集成應(yīng)用于肺癌細(xì)胞識(shí)別，并嵌入到肺癌早期診斷系統(tǒng)LCDS中，大大降低了肺癌細(xì)胞的漏識(shí)率。

(4)針對(duì)前饋網(wǎng)絡(luò)的單點(diǎn)斷路故障，提出了一種基于遺傳算法的進(jìn)化容錯(cuò)神經(jīng)網(wǎng)絡(luò)方法EFANET，實(shí)驗(yàn)結(jié)果表明，該方法不僅可以進(jìn)化出容錯(cuò)性好、泛化能力強(qiáng)的網(wǎng)絡(luò)，還較好地保持了網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練算法與容錯(cuò)處理的獨(dú)立性。針對(duì)前饋網(wǎng)絡(luò)的多點(diǎn)斷路故障，提出了一種三階段方法T3，并將其應(yīng)用于FAC網(wǎng)絡(luò)，實(shí)驗(yàn)結(jié)果表明，T3方法可以較好地在網(wǎng)絡(luò)容錯(cuò)能力與結(jié)構(gòu)復(fù)雜度之間達(dá)成折衷。

(5)提出了一種結(jié)合決策樹(shù)與前饋神經(jīng)網(wǎng)絡(luò)的混合決策樹(shù)方法HDT，描述了樹(shù)的生長(zhǎng)算法和神經(jīng)處理機(jī)制。對(duì)增量學(xué)習(xí)和構(gòu)造性歸納進(jìn)行了研究，界定了三種不同的增量學(xué)習(xí)問(wèn)題的概念，并給出了HDT的增量學(xué)習(xí)和構(gòu)造性歸納算法。實(shí)驗(yàn)結(jié)果表明，HDT及其增量學(xué)習(xí)、構(gòu)造性歸納算法都具有很好的性能。此外，還成功地將HDT應(yīng)用于情報(bào)軟件故障診斷。

關(guān)鍵詞：神經(jīng)計(jì)算，神經(jīng)網(wǎng)絡(luò)，機(jī)器學(xué)習(xí)，快速學(xué)習(xí)，規(guī)則抽取，集成，容錯(cuò)神經(jīng)網(wǎng)絡(luò)，混合學(xué)習(xí)，增量學(xué)習(xí)，構(gòu)造性歸納，決策樹(shù)，知識(shí)獲取，數(shù)據(jù)挖掘，遺傳算法，進(jìn)化計(jì)算，斷路故障，人臉識(shí)別，計(jì)算機(jī)輔助醫(yī)療診斷，巖性識(shí)別，故障診斷

ContributiotoSeveralIuesofNeuralComputing

Neuralcomputinganditsalicatiohavealreadycomeintomanydisciplinesandachievedplentifulfruitsindiversifiedfields,includingsignalproceing,intelligentcontrolling,patternrecognition,machinevision,nonlinearoptimization,automatictargetidentification,knowledgeproceing,remoteseing,etc.Ithasbecomenotonlythetastesofscientistsbutalsotheinterestsofgovernmentsandforces.Thegovernmentsandindustrialcommunitiesofmanycountries/regioaresokeenonneuralcomputingtechniquesthattheyhaveinvestedalargeamountofmoneyoncorreondingresearch.Thereforetheprogreofneuralcomputingwillnotonlypromotethedevelopmentofscienceandtechnologybutalsoinfluencethenationalpowers.

Inthisdiertation,5problemsstandinginneedofsolutioareinvestigated,whichincludesexpeditingthelearningeedofneuralnetworks,improvingthecompreheibilityofneuralnetworks,designingengineeringneuralcomputingmethodsthatareeasytouse,simulatingbiologicalneuralsystemsmorebetterthanever,andcombiningneuralcomputingwithtraditionalartificialintelligencetechniques.Themaincontributioofthisdiertationaresummarizedasfollows:

Firstly,afastneuralclaifiernamedFACandafastneuralregreionestimatornamedFANREareproposed.Experimentalresultsshowthatthosetwoalgorithmsthathavefastlearningabilityandstronggeneralizationabilityreectivelyoutperformsomeprevailingneuralclaificationalgorithmsandneuralregreionestimationalgorithmsatpresent.Besides,FACissuccefullyaliedinlithologyidentificationofoilexploration.

Secondly,aneuralnetworkruleextractionalgorithmnamedSTAREisproposed.ExperimentalresultsshowthatSTAREcanextractaccurateandcompactsymbolicrulesthathavehighfidelity,sothatthecompreheibilityoftrainedneuralnetworksareimproved.Additionally,aneuralcomputingbasedclaificationrulemi ningframeworknamedNEUCRUMisproposedandsuccefullyaliedtotyphoonforecastingdomain.

Thirdly,ageneticalgorithmbasedselectiveneuralnetworkeemblearoachnamedGASENisproposed.ExperimentalresultsshowthatGASENoutperformspopulareemblearoachesatpresent.Then,aviewecificeemblearoachnamedVSisdevelopedtoalyneuralnetworkeembletoviewinvariantfacerecognition,whichhastheabilityofperforminghighqualityrecognitionwithoutviewpre-estimation.Moreover,bothanoveloutput-combiningmethodandauniquetwo-layer-eemblearchitecturearedesigned,sothatneuralnetworkeembleisembeddedinthelungcancerearlystagediagnosissystemLCDStoperformlungcancercellidentification,whichgreatlylowerstherateofmiedidentificationoflungcancercells.

Fourthly,ageneticalgorithmbasedaroachnamedEFANETthatevolvesfault-tolerantneuralnetworksforsingle-nodeopenfaultisproposed.ExperimentalresultsshowthatEFANETcanevolveneuralnetworkswithbothrobustfault-tolerantabilityandstronggeneralizationabilitywhilekeepingtheindependenceamongnetworktopology,trainingalgorithm,andfault-tolerantproceing.Besides,athree-phrasearoachnamedT3isproposedformulti-nodeopenfault,whichhasbeenaliedtoFAC.ExperimentalresultsshowthatT3cantradeoffthefault-tolerantabilityandstructuralcomplexityoftheneuralnetwork.

神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文第4篇

關(guān)鍵詞：MIS智能入侵檢測(cè)；特征規(guī)則；模糊聚類

中圖分類號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2008)24-1267-02

MIS Intelligent Intrusion Detection Technology Based on the Clustering Method

ZHANG Dong-liang, XIA Zhong-hua

(Qinghuangdao Institute of Technology,Qinhuangdao 066100,China)

Abstract: In this paper, there is a brief introduction to the MIS intelligent intrusion detection technologyby usingneural networks, and by use of the new cluster to improve the neural network, Rules adopted by the best time of the algorithm to reduce complexity and simplify the neural network. To optimize the feature extraction rules, improving the efficiency of the intrusion detection and intelligence.

Key words: MIS intelligent intrusion detection;characteristics of rules;fuzzy cluster

1 引言

入侵檢測(cè)（Intrusion Detection，ID）是指通過(guò)對(duì)行為、安全日志或?qū)徲?jì)數(shù)據(jù)或其它可以獲得的信息進(jìn)行操作，檢測(cè)到對(duì)系統(tǒng)的闖入或闖入的企圖[1]。它通過(guò)對(duì)計(jì)算機(jī)系統(tǒng)或網(wǎng)絡(luò)計(jì)算機(jī)系統(tǒng)中的若干 關(guān)鍵點(diǎn)收集信息并對(duì)其進(jìn)行分析，從中發(fā)現(xiàn)系統(tǒng)或網(wǎng)絡(luò)中是否有違反安全策略的行為和被攻擊的跡象。

現(xiàn)有的入侵檢測(cè)系統(tǒng)多數(shù)采用概率統(tǒng)計(jì)、專家系統(tǒng)、神經(jīng)網(wǎng)絡(luò)等智能化方法來(lái)實(shí)現(xiàn)系統(tǒng)的檢測(cè)機(jī)制。其中，神經(jīng)網(wǎng)絡(luò)方法可以利用大量實(shí)例通過(guò)訓(xùn)練 的方法構(gòu)造正常行為模型，能夠有效預(yù)測(cè)未知的攻擊，并且它有自適應(yīng)、自學(xué)習(xí)、自組織、并行性等優(yōu)點(diǎn)，在攻擊類型上，則對(duì)非授權(quán)獲得超級(jí)用戶權(quán)限和遠(yuǎn)程到本 地的非授權(quán)訪問(wèn)的檢測(cè)效果顯著[2]。

本文使用新的聚類方法來(lái)改善神經(jīng)網(wǎng)絡(luò)，通過(guò)得到最佳的規(guī)則數(shù)來(lái)降低算法時(shí)間復(fù)雜度，簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)，使之進(jìn)行有效的數(shù)據(jù)提取和學(xué)習(xí)，提高入侵檢測(cè)的效率和智能性。

2 MIS智能入侵檢測(cè)技術(shù)

MIS智能入侵檢測(cè)主要由四個(gè)主要模塊組成：

1) 數(shù)據(jù)采集：主要由SQLServer跟蹤日志給出，相當(dāng)于事件產(chǎn)生器；2) 檢測(cè)單元：主要由神經(jīng)網(wǎng)絡(luò)訓(xùn)練出一個(gè)相對(duì)穩(wěn)定的正常模型，用于檢測(cè)異常調(diào)用，相當(dāng)于事件分析器[3]；3) 特征數(shù)據(jù)庫(kù)：主要利用誤用檢測(cè)的特點(diǎn)，實(shí)現(xiàn)快速檢測(cè)各種已知的異常調(diào)用，并直接反饋倒報(bào)警單元，相當(dāng)于事件數(shù)據(jù)庫(kù)，其征數(shù)據(jù)庫(kù)與被監(jiān)控?cái)?shù)據(jù)庫(kù)分離存儲(chǔ)；4) 報(bào)警單元：主要是殺掉異常調(diào)用的客戶端進(jìn)程，反饋給系統(tǒng)管理員并記錄到自定義日志文件，相當(dāng)于響應(yīng)單元。

主要流程是：首先通過(guò)采集的樣本數(shù)據(jù)經(jīng)過(guò)訓(xùn)練后形成檢測(cè)單元，建立相應(yīng)特征數(shù)據(jù)庫(kù)并完成日志文件初始化工作；然后實(shí)時(shí)監(jiān)測(cè)客戶端調(diào)用，將數(shù)據(jù)直接和特征數(shù)據(jù)庫(kù)進(jìn)行匹配，如有匹配則送入報(bào)警單元，反之則送入檢測(cè)單元；檢測(cè)單元將數(shù)據(jù)作為輸入向量與正常模型比較，如果泛化輸出值大于期望值，則列為異常，直接送入誤用數(shù)據(jù)庫(kù)存儲(chǔ)，并通知報(bào)警單元，反之繼續(xù)監(jiān)測(cè)各調(diào)用。

3 基于聚類方法的智能入侵檢測(cè)

3.1 數(shù)據(jù)采集

入侵檢測(cè)的關(guān)鍵是用戶行為特征的提取。本文主要利用SQLServer的事件探察器，建立新的跟蹤文件，針對(duì)TSQL、存儲(chǔ)過(guò)程、安全審核、會(huì)話等事件，選取 ObjectId, LoginName, CPU, Read, Write ClientProcessId, SPID 七個(gè)數(shù)據(jù)列作為輸入向量[4]。分別表示客戶端對(duì)數(shù)據(jù)庫(kù)表、存儲(chǔ)過(guò)程和視圖的調(diào)用；客戶數(shù)據(jù)庫(kù)登陸名；CPU占用時(shí)間；對(duì)數(shù)據(jù)庫(kù)的讀寫操作；客戶端進(jìn)程號(hào)和系統(tǒng) 分配進(jìn)程號(hào)。這七種數(shù)據(jù)在對(duì)數(shù)據(jù)庫(kù)的調(diào)用過(guò)程中相對(duì)穩(wěn)定。LoginName中則主要考慮客戶端默認(rèn)調(diào)用，采集到的數(shù)據(jù)都是十進(jìn)制數(shù)據(jù)，不需要額外的數(shù)據(jù)預(yù)處理，符合神經(jīng)網(wǎng)絡(luò)輸入的要求。

3.2 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

本文采用采用三層神經(jīng)網(wǎng)絡(luò)[5]：輸入單元為七個(gè)，分別對(duì)應(yīng)上述七個(gè)處理向量；輸出層為一個(gè)神經(jīng)單元，輸出結(jié)果 規(guī)定在（0，1）范圍內(nèi)，用0表示為正常行為，用1表示為異常行為；隱層結(jié)點(diǎn)通過(guò)試驗(yàn)確定為6個(gè)；權(quán)值和閾值為小的隨機(jī)數(shù)；學(xué)習(xí)率為0.1；隱含層和輸出層采用Sigmoid函數(shù)f(x)=(1+e-x)－1為激發(fā)函數(shù)，該函數(shù)具有非線性放大功能，可以把輸入從負(fù)無(wú)窮大放大到正無(wú)窮 大的信號(hào)，變換到0到1之間的輸出，可以逼近非線性輸入/輸出關(guān)系。我們將七種特征向量作為神經(jīng)網(wǎng)絡(luò)的輸入向量，訓(xùn)練的結(jié)果就是確定了B網(wǎng)絡(luò)的權(quán)值，而 這些權(quán)值就存儲(chǔ)了行為的特征模式，將訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)用于實(shí)際的工作，就可以判斷是否有異常的調(diào)用，如發(fā)現(xiàn)了新的非權(quán)限異常調(diào)用，則把檢測(cè)到的模式存儲(chǔ)到特征數(shù)據(jù)庫(kù)。

3.3利用新的聚類方法提取最佳規(guī)則數(shù)

此文通過(guò)求解最佳聚類數(shù)來(lái)得到最佳規(guī)則數(shù)，首先通過(guò)構(gòu)造一個(gè)新的判別準(zhǔn)則來(lái)進(jìn)行模糊分類,確定樣本數(shù)據(jù)的最佳分類,從而確定最佳規(guī)則數(shù)。

可以看出,聚類判別準(zhǔn)則Vp由2部分組成,第一部分反映了同一類中的緊湊程度。第k個(gè)樣本Xk越接近模糊類中心,最大隸屬度max(uik)就越接近1。因此,對(duì)每一個(gè)樣本Xk來(lái)說(shuō),模糊集max(uik)被認(rèn)為是一個(gè)好的分類指標(biāo),這個(gè)值越大,代表同一類的緊湊程度就越好。式(1)的第二部分體現(xiàn)了類與類之間的分離程度[4]。這里,用2個(gè)模糊集的交集來(lái)評(píng)價(jià)類Vi和Vj的分離程度。事實(shí)上,如果Xk接近類中心Vi,min(uik,ujk)接近于零,結(jié)果類Vi和Vj很明顯被分開(kāi)。

另一方面,如果min(uik,ujk)接近于1/C,Xk屬于所有類的隸屬度相等,此時(shí)劃分的類最模糊。這個(gè)新的的判別準(zhǔn)則Vp既考慮了同一類的緊湊程度,又考慮了類與類之間的分離程度。這樣相對(duì)于最大值Vp的聚類數(shù)C就是一個(gè)最佳聚類數(shù)[6]。

3.4 調(diào)整特征提取規(guī)則

經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，得到了大量的特征提取規(guī)則，現(xiàn)在就要根據(jù)上文所得的最佳規(guī)則數(shù)來(lái)調(diào)整規(guī)則，使之達(dá)到最佳。規(guī)則的化簡(jiǎn)是基于網(wǎng)絡(luò)權(quán)值來(lái)進(jìn)行的。權(quán)值的初始值的大小代表了規(guī)則成功的概率；經(jīng)過(guò)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以后，這個(gè)概率或被增加或被減少。概率為零表示該條規(guī)則不再存在理應(yīng)被去除[7-8]。1) 主要思想是將網(wǎng)絡(luò)權(quán)值為零或很接近于零的規(guī)則視為無(wú)效的規(guī)則而被去除[9]；2) 在具有同一前件的所有規(guī)則中，將取權(quán)值最大的規(guī)則保留，而將其余的規(guī)則去除；3) 為了保持規(guī)則的一致性，在矛盾的規(guī)則中取概率最大的規(guī)則是一種良好的選擇[10]。

3.5 實(shí)驗(yàn)結(jié)果

MIS系統(tǒng)在正常運(yùn)行一周內(nèi)，從跟蹤文件中隨機(jī)選取了1000個(gè)樣本作為訓(xùn)練樣本，500個(gè)樣本作為檢測(cè)樣本。利用聚類方法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到的規(guī)則數(shù)目由原來(lái)的35個(gè)減少到23個(gè)。改進(jìn)前構(gòu)建的正常行為模型80%以上的能夠檢測(cè)到未知的異常操作，誤用數(shù)據(jù)庫(kù)70%的可以快速檢測(cè)得到各種已知的異常調(diào)用。改進(jìn)后構(gòu)建的正常行為模型90%以上的能夠檢測(cè)到未知的異常操作；而誤用數(shù)據(jù)庫(kù)則98%的可以快速檢測(cè)得到各種已知的異常調(diào)用。

由結(jié)果可以得知，本文提出的方法，有效的提取了數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，提高入侵檢測(cè)的效率和智能性。

4 結(jié)論

本文介紹了神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的MIS智能入侵檢測(cè)技術(shù)的簡(jiǎn)單流程，采用了新的聚類方法來(lái)改善神經(jīng)網(wǎng)絡(luò)，通過(guò)得到最佳的規(guī)則數(shù)來(lái)確定特征提取規(guī)則的界限，降低了算法時(shí)間復(fù)雜度，簡(jiǎn)化了神經(jīng)網(wǎng)絡(luò)。從而優(yōu)化了特征提取規(guī)則，提高了入侵檢測(cè)的效率和智能性。

參考文獻(xiàn)：

[1] 劉美蘭,姚京松.神經(jīng)網(wǎng)絡(luò)在入侵檢測(cè)系統(tǒng)中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,1999,(6):37-42.

[2] 撖書(shū)良,蔣嶷川,張世永.基于神經(jīng)網(wǎng)絡(luò)的高效智能入侵檢測(cè)系統(tǒng)[J].計(jì)算機(jī)工程與應(yīng)用,2004,30(10):69-70.

[3] 陳瑾,羅敏,張煥國(guó).入侵檢測(cè)技術(shù)概述[J].計(jì)算機(jī)工程與應(yīng)用,2004,(2):133-136.

[4] 王士同,陳慧萍,趙躍華,等.人工智能教程[M].北京:電子工業(yè)出版社,2002

[5] Pal N R,Pal K,Keller J,et al.A Possibilistic Fuzzy c- Means Clustering Algorithm[J].IEEE Trans,Fuzzy Systems:in review,2004.

[6] Krisnapuram R,Frigui H,Nasroui O.Fuzzy and possibilistic shell clustering algorithms and their application to boundary detection and surface approximation[J].IEEE Trans,Fuzzy Systems,1995,3(1):29-60.

[7] Dave R N,Bhaswan K.Adaptive fuzzy c-shells clustering and detection of ellipses[J].IEEE Trans,on Neural Networks,1992,3(5):643-662.

[8] Timm C,Kruse R R.A modification to improve possibilistic fuzzy cluster analysis[C].Proceedings of the IEEE Int,Conf on Fuzzy Systems,Honululu,2002.

[9] 王士同.神經(jīng)模糊系統(tǒng)及其應(yīng)用[M].北京:北京航空航天大學(xué)出版社,2004.

神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文第5篇

關(guān)鍵詞:預(yù)測(cè)算法;機(jī)器學(xué)習(xí)算法;人工智能;ALZ算法;ED算法;SHIP算法

中圖分類號(hào):TP312 文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1007-9599 (2010) 09-0000-01

SmartHome Prediction Algorithm and Comparation

Huang Yingqi

(Guiyang College of Traditional Chinese Medicine,Guiyang550002,China)

Abstract:Smart Home project involving machine learning algorithm to predict,such as ALZ,ED,SHIP,were studied in a comparative study,as a prediction algorithm for its advantages and disadvantages research

Keywords:Prediction algorithm;Machine learning algorithm; Artificial intelligence;ALZ algorithm;ED algorithm;SHIP algorithm

DIANE J. COOK等人在美國(guó)完成的Smart Home項(xiàng)目,利用基于歷史數(shù)據(jù)的機(jī)器學(xué)習(xí)和模式匹配的SHIP算法,成功的建立了具有預(yù)測(cè)下一步行為模式能力的聰明屋。本文就項(xiàng)目中涉及到的幾種機(jī)器學(xué)習(xí)的預(yù)測(cè)算法進(jìn)行介紹、研究與比較,對(duì)幾種自適應(yīng)算法進(jìn)行進(jìn)一步的探討。

SmartHome的MavHome項(xiàng)目中使用的預(yù)測(cè)算法主要包括了三種學(xué)習(xí)算法:ALZ算法、ED算法、SHIP算法,樣本輸入數(shù)據(jù)均設(shè)計(jì)為把聰明屋內(nèi)人一天的行為活動(dòng)劃分為若干個(gè)片段,不同的地點(diǎn)、不同的行為用不同的字母來(lái)標(biāo)志和表示,例如“在主臥室中醒來(lái)”用字母“m”表示,“從主臥室走到衛(wèi)生間”用字母“a”表示等,所使用的預(yù)測(cè)下一步行為的預(yù)測(cè)算法,都基于對(duì)上述歷史行為數(shù)據(jù)的統(tǒng)計(jì)分析和學(xué)習(xí)基礎(chǔ)上,作出進(jìn)一步的預(yù)測(cè)。

ALZ算法是項(xiàng)目所采用的進(jìn)行預(yù)測(cè)的主要算法,根據(jù)LZ壓縮算法改編而來(lái),MavHome中用于下一次行為預(yù)測(cè)的機(jī)器學(xué)習(xí)算法,以用概率預(yù)測(cè)下一個(gè)單獨(dú)行為為目的。用于機(jī)器學(xué)習(xí)的數(shù)據(jù)集是以小時(shí)為基本最小單位,在相等的時(shí)間片段內(nèi),利用上述方式對(duì)不同時(shí)間地點(diǎn)的不同行為片段用字符編碼,按時(shí)間片段順序,依次采集讀入而得。目前取得的成功之處就在于設(shè)計(jì)了一個(gè)活動(dòng)的窗口,滑動(dòng)窗口在數(shù)據(jù)集中逐一滑動(dòng),以控制輸入數(shù)據(jù)的方式和流量,用以在生成TRIE樹(shù)的同時(shí)進(jìn)行模式匹配和概率統(tǒng)計(jì),隨著輸入數(shù)據(jù)的增多,TRIE樹(shù)逐漸生成,樹(shù)中生成的編碼和概率用字典來(lái)存儲(chǔ)和表示。編碼出現(xiàn)概率的計(jì)算,根據(jù)PPM狀態(tài)預(yù)測(cè)機(jī)方式分配概率。PPM算法根據(jù)輸入數(shù)據(jù)的不同狀態(tài),即根據(jù)狀態(tài)機(jī)輸入建立馬爾卡夫模型,馬爾卡夫鏈上的數(shù)據(jù)順序?qū)?yīng)于生成TRIE樹(shù)中各層中的編碼,不同層次的編碼根據(jù)出現(xiàn)的概率不同分配不同的權(quán)值,例如輸入數(shù)據(jù)集為:“aaababbbbbaabccddcbaaaa”,生成樹(shù)中的字典編碼“aaa”,第1層的“a”共出現(xiàn)10次,第2層的“a”共出現(xiàn)5次,第3層的“a”共出現(xiàn)2次,即為a(10)a(5)a(2),而在第1層中總共出現(xiàn)了23次編碼,第1層中字符“a”的后面總共出現(xiàn)了8次編碼,第2層中字符“aa”的后面總共出現(xiàn)了3次編碼,因此如需預(yù)測(cè)下一次出現(xiàn)“a”的概率,就應(yīng)為:2/5+2/5(5/10+2/10*(10/23))。ALZ算法建立trie樹(shù)的時(shí)間復(fù)雜度:對(duì)于輸入長(zhǎng)度為n的系列,k-1層的每一個(gè)結(jié)點(diǎn),其葉子結(jié)點(diǎn)最多有k個(gè),如要增長(zhǎng)到k+1層,則k層的結(jié)點(diǎn)數(shù)需達(dá)到k2,則有n=k(k+1)/2。程序所需的時(shí)間復(fù)雜度為:n*O(k)=n*O(n1/2)=O(n3/2)。

SHIP算法是項(xiàng)目中利用神經(jīng)網(wǎng)絡(luò)進(jìn)行系列模式匹配的算法,主要采用神經(jīng)網(wǎng)絡(luò)算法的設(shè)計(jì)方法。根據(jù)歷史數(shù)據(jù)提煉模式,把各個(gè)行為片段生成互相有關(guān)聯(lián)的模式,并進(jìn)行匹配,用于模式區(qū)分的算法。MAVHOME中此算法用數(shù)據(jù)集生成隊(duì)列,第一步,按順序生成隊(duì)列,如有新的數(shù)據(jù)入隊(duì),及時(shí)更新隊(duì)列數(shù)據(jù),其中重要的一點(diǎn)是算法將時(shí)間與狀態(tài)聯(lián)系起來(lái),組成二維數(shù)組結(jié)構(gòu),當(dāng)新數(shù)據(jù)入隊(duì)時(shí),需同時(shí)更新數(shù)據(jù)的時(shí)間和頻率;算法第二步為效仿其余的神經(jīng)網(wǎng)絡(luò)算法,設(shè)定一個(gè)門閥值,同時(shí)設(shè)定一個(gè)遞減的步進(jìn)變量,在樣本數(shù)據(jù)初次生成模式后,設(shè)定權(quán)值,然后用大量檢驗(yàn)數(shù)據(jù)來(lái)校正模式,利用步進(jìn)變量逐步減小誤差,到達(dá)門閥值時(shí)停止。由此可以看出,SHIP與其余神經(jīng)網(wǎng)絡(luò)算法的不同點(diǎn),僅在于其采取的編碼方式,和基于時(shí)間狀態(tài)的預(yù)測(cè)目的,因此筆者認(rèn)為,任何一種神經(jīng)網(wǎng)絡(luò)算法,只要能用于模式匹配預(yù)測(cè)和二維編碼,均可改裝為SHIP算法。SHIP算法的時(shí)間復(fù)雜度,和神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)有關(guān)聯(lián),網(wǎng)絡(luò)的不同導(dǎo)致復(fù)雜度的不同,而算法的收斂度,也和網(wǎng)絡(luò)的設(shè)計(jì)和算法系數(shù)的設(shè)定有關(guān)。

ED算法是利用數(shù)據(jù)挖掘的設(shè)計(jì)方法,發(fā)現(xiàn)行為事件間的關(guān)聯(lián)并生成場(chǎng)景識(shí)別的模式識(shí)別算法,目的是通過(guò)關(guān)聯(lián)發(fā)現(xiàn)模式。數(shù)據(jù)挖掘的目的是于反復(fù)出現(xiàn)的大量數(shù)據(jù)集中挖掘出相匹配的時(shí)間內(nèi)具有聯(lián)系的事件,同樣采用的是時(shí)間與狀態(tài)相結(jié)合的二維數(shù)據(jù)模型。ED算法的時(shí)間復(fù)雜度也取決于所采用的數(shù)據(jù)挖掘算法的設(shè)計(jì)。

三種算法各自達(dá)到的目的不同,設(shè)計(jì)思路不同,ALZ主要針對(duì)將要發(fā)生的單獨(dú)行為進(jìn)行預(yù)測(cè),有固定的算法設(shè)計(jì),是基于壓縮算法和機(jī)器學(xué)習(xí)算法、PPM預(yù)測(cè)的綜合算法;ED主要針對(duì)模式的匹配與識(shí)別的數(shù)據(jù)挖掘算法,側(cè)重預(yù)測(cè)和生成將要發(fā)生的系列模式;SHIP是神經(jīng)網(wǎng)絡(luò)算法,主要用于發(fā)現(xiàn)事件和事件間的關(guān)聯(lián),由一事件預(yù)測(cè)下一事件的發(fā)生。三種算法共同的特點(diǎn)是樣本數(shù)據(jù)規(guī)模越大,其準(zhǔn)確率越高。對(duì)于ALZ算法,在750個(gè)實(shí)際數(shù)據(jù)測(cè)試下,預(yù)測(cè)準(zhǔn)確率為47%;在2000個(gè)真實(shí)模擬數(shù)據(jù)中,預(yù)測(cè)準(zhǔn)確率為86%。其余兩種算法的預(yù)測(cè)準(zhǔn)確率和收斂度,一定程度上還取決于所采取的具體算法設(shè)計(jì)模式。

參考文獻(xiàn):

[1]KARTHIK GOPALRATNAM and DIANE J. COOK,Online Sequential Prediction via Incremental Parsing:The Active LeZi Algorithm,IEEE Intelligent Systems,2007,22(1):P52-58

[2]SAJAL K.DAS等,THE ROLE OF PREDICTION ALGORITHMS IN THE MAVHOME SMART HOME ARCHITECTURE,IEEE Wireless Communications,2002,(11):P2-9