前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇神經(jīng)網(wǎng)絡(luò)的正則化方法范文，相信會為您的寫作帶來幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

神經(jīng)網(wǎng)絡(luò)的正則化方法范文第1篇

關(guān)鍵詞：BP網(wǎng)絡(luò) 結(jié)構(gòu)損傷檢測 損傷信號指標1 引言

基于BP網(wǎng)絡(luò)的高層框架結(jié)構(gòu)損傷檢測是近年來的一個熱門研究課題，它是隨著科技的進步、經(jīng)濟的發(fā)展和人們認識的提高而發(fā)展起來的。傳統(tǒng)的建筑結(jié)構(gòu)可靠性是通過結(jié)構(gòu)設(shè)計來保障的，但實際上，結(jié)構(gòu)設(shè)計很難完全保障建筑結(jié)構(gòu)在使用階段的可靠性。這是因為在使用階段建筑結(jié)構(gòu)除承受設(shè)計荷載的作用外，隨著使用時間的增加，不可避免地發(fā)生老化或者受到各種突發(fā)性的外界因素（如爆炸、地震、撞擊、火災(zāi)等）的影響而引起結(jié)構(gòu)的損傷，這些損傷隨時間積累，達到一定程度就會影響結(jié)構(gòu)的安全性、適用性和耐久性，甚至發(fā)生突發(fā)性的失效，嚴重威脅著人類的生命財產(chǎn)安全。例如，1994年美國的加州大地震，1995年的日本神戶大地震和1999年的臺灣大地震都使無數(shù)的房屋損壞和倒塌，造成人民生命財產(chǎn)的巨大損失。建筑結(jié)構(gòu)損傷的及時檢測和修復對于減少人民的生命財產(chǎn)損失具有極其重要的作用。同時，盡早發(fā)現(xiàn)結(jié)構(gòu)損傷，可以從很大程度上降低維護維修費用。因此，應(yīng)建立合理的檢測系統(tǒng)以便及時探測到建筑結(jié)構(gòu)損傷出現(xiàn)的位置和程度，及時采取有效措施消除隱患，確保人民的生命財產(chǎn)安全。

人工神經(jīng)網(wǎng)絡(luò)廣泛涉及土木工程的各個領(lǐng)域，在結(jié)構(gòu)損傷檢測中發(fā)揮著巨大作用。但神經(jīng)網(wǎng)絡(luò)應(yīng)用在不同結(jié)構(gòu)的理論還不成熟，因此為了將神經(jīng)網(wǎng)絡(luò)更好地應(yīng)用于結(jié)構(gòu)損傷檢測中，本文把振動分析方法與人工神經(jīng)網(wǎng)絡(luò)結(jié)合在一起，解決高層對稱框架結(jié)構(gòu)的損傷檢測問題。

2 基于BP網(wǎng)絡(luò)的結(jié)構(gòu)損傷四步檢測法

在對高層建筑這樣復雜的大型結(jié)構(gòu)體系進行損傷檢測時，如果僅僅作為一個力學反問題來考慮，將導致條件的復雜性和解的不唯一性。行之有效的方法是盡量避免直接解力學反問題，基于此本文提出了基于BP網(wǎng)絡(luò)的結(jié)構(gòu)損傷四步檢測法，即損傷的發(fā)生、類型、位置和程度分開檢測。

第一步：損傷的發(fā)生

在這一步，神經(jīng)網(wǎng)絡(luò)就像一個報警系統(tǒng)而不是損傷的檢測系統(tǒng)。當結(jié)構(gòu)發(fā)生損傷時，神經(jīng)網(wǎng)絡(luò)就會發(fā)出警報。而且不需要結(jié)構(gòu)的模態(tài)信息就可以構(gòu)建、訓練和測試神經(jīng)網(wǎng)絡(luò)。

在目前的研究中，通過測量系統(tǒng)獲得的未損結(jié)構(gòu)的模態(tài)參數(shù)，即未損結(jié)構(gòu)的前N階固有頻率 作為輸入輸出向量來訓練網(wǎng)絡(luò)，而不需要其它的結(jié)構(gòu)模態(tài)。但是，未損結(jié)構(gòu)的固有頻率需要多次測量，而且全部用于網(wǎng)絡(luò)的訓練，這些數(shù)據(jù)可以通過結(jié)構(gòu)的長期在線監(jiān)測系統(tǒng)獲得。

第二步：損傷類型

建筑結(jié)構(gòu)損傷檢測有多種類型，如構(gòu)件寬度變小、構(gòu)件高度變小和構(gòu)件材料的彈性模量變小。前兩種類型可以看作是構(gòu)件有效工作面積的減小，這三種類型都可以看作是構(gòu)件剛度變小。在該階段神經(jīng)網(wǎng)絡(luò)被用作分類器，獲得的基于模態(tài)的損傷結(jié)構(gòu)模態(tài)用于神經(jīng)網(wǎng)絡(luò)的訓練。

第三步：損傷位置

對于一些損傷的位置分布，需要建立一個神經(jīng)網(wǎng)絡(luò)來精確地確定損傷的具置。在這個網(wǎng)絡(luò)中，第 個節(jié)點的輸出值為1或0，它表示該節(jié)點是否發(fā)生損傷。由于僅僅使用固有頻率無法檢測對稱位置發(fā)生的同程度損傷，就選擇由損傷信號指標和其它一些參數(shù)所組成的組合損傷向量。這個輸入向量需要滿足兩個條件：（a）輸入向量的多數(shù)參數(shù)與損傷程度無關(guān)，只與損傷位置有關(guān)；（b）輸入向量的模態(tài)參數(shù)都能夠從固有頻率和第一階模態(tài)的少數(shù)幾個模態(tài)矢量值算出。因為在這一步的目標是確定損傷的位置，所以訓練時只需要在所有可能的損傷位置的一種損傷程度的損傷樣本，這樣就大大地減少了訓練樣本的數(shù)量。

第四步：損傷程度

一般的基于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)損傷檢測方法，損傷位置和損傷程度通過一步損傷檢測法就可以同時檢測出來。但是當存在大量的可能損傷位置時，一步損傷檢測法需要太多的損傷樣本，因為網(wǎng)絡(luò)在損傷程度的檢測時需要在不同的損傷水平下對網(wǎng)絡(luò)進行訓練。本文提出的結(jié)構(gòu)損傷四步檢測法就成功解決了這一問題，整個過程使用同樣的神經(jīng)網(wǎng)絡(luò)模型。在上一步已經(jīng)檢測出損傷的位置，我們只需要在這些損傷的位置上增加一些不同程度的損傷樣本，重新學習訓練網(wǎng)絡(luò)即可。

3 神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù)的選擇

研究表明神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù)的選擇及其表達形式會直接影響結(jié)構(gòu)損傷檢測的結(jié)果。下面分別介紹三種輸入?yún)?shù)：僅與損傷位置有關(guān)的輸入?yún)?shù)，僅與損傷程度有關(guān)的輸入?yún)?shù)及與損傷位置和程度都有關(guān)的輸入?yún)?shù)。

3.1 僅與損傷位置有關(guān)的輸入?yún)?shù)

在已有的結(jié)構(gòu)損傷檢測方法中，首先要用神經(jīng)網(wǎng)絡(luò)檢測損傷的位置，然后再檢測損傷的程度。因此必須合理地選擇一個僅與損傷位置有關(guān)的網(wǎng)絡(luò)輸入?yún)?shù)。

Cawley和Adams [1]證明了兩階頻率的變化率僅僅與損傷位置有關(guān)而與損傷程度無關(guān)。Minski [2]證明了正則化的頻率變化率也是一個只與損傷位置有關(guān)的輸入?yún)?shù)。其中頻率的變化率 可以表示為：

正則化的頻率變化率 可以表示為：

上面方程中： 和 分別為第i階固有頻率變化比和第i階正則化的頻率變化率，m為實測固有頻率的階數(shù)，fui和fdi分別為結(jié)構(gòu)在未損和損傷狀態(tài)下的模態(tài)頻率。

Lam [3]等人提出了一個損傷信號指標并且證明了這種指標只與損傷位置有關(guān)而與損傷程度無關(guān)。這種損傷信號指標被定義為模態(tài)振型的變化率與固有頻率的變化比，用公式表示為：

而正則化的損傷信號指標可表示為：

上面方程中：fui和fdi的意義同公式（2）；{Φui}和{Φdi}分別為結(jié)構(gòu)在未損和損傷狀態(tài)下的第i階模態(tài)矢量值；DSIi（k）和NDSIi（k）分別為第i階模態(tài)的損傷信號指標和第i階模態(tài)的正則化的損傷信號指標， n為實測模態(tài)的階數(shù)；為了方便，一般取n=1、k為實測模態(tài)矢量的位置。

上面涉及的模態(tài)的選擇取決于兩個因素：模態(tài)數(shù)據(jù)測量的準確性和該模態(tài)對于損傷的敏感性。某一模態(tài)對于損傷的敏感性事先并不知道。但是通常認為一階模態(tài)所測量的固有頻率最準確。所以采用一階模態(tài)所對應(yīng)的模態(tài)矢量值。然而，如果一階固有頻率的變化太小，就要選擇其它振型的模態(tài)矢量值。因為一階固有頻率的變化太小，將出現(xiàn)一個很小的分母，而導致計算的損傷信號指標不收斂。在計算固有頻率變化之前，必須保證這兩套方法所測量的模態(tài)矢量值具有同樣的標準化形式。當然，計算神經(jīng)網(wǎng)絡(luò)的輸入向量，不需要完整的模態(tài)數(shù)據(jù)，只需要選擇幾個點的模態(tài)分量就足夠了，這樣就克服了僅僅用頻率的缺陷。

3.2 僅與損傷程度有關(guān)的輸入?yún)?shù)

姜紹飛[4]給出了僅與損傷程度有關(guān)的輸入?yún)?shù)：

上式中NFSRi為第i階固有頻率平方的變化比，fui和fdi分別為結(jié)構(gòu)在未損和損傷狀態(tài)下的模態(tài)頻率。

3.3 與損傷位置和程度都有關(guān)的輸入?yún)?shù)

頻率的變化率FFCi是與損傷位置和損傷程度都有關(guān)的參數(shù)。

4 神經(jīng)網(wǎng)絡(luò)輸入向量的選擇

基于以上輸入?yún)?shù)的分析，神經(jīng)網(wǎng)絡(luò)的輸入向量可以設(shè)計成組合損傷向量。損傷位置和損傷程度可以用不同的網(wǎng)絡(luò)結(jié)構(gòu)分別檢測?？紤]到本文主要解決的是對稱結(jié)構(gòu)損傷檢測問題，所以在輸入向量中一定要包含能夠檢測對稱位置損傷的損傷信號指標。因此，我們可以把損傷信號指標分別與僅與損傷位置有關(guān)、僅與損傷程度有關(guān)及與損傷位置和程度均有關(guān)的輸入?yún)?shù)相組合，形成新的能夠檢測對稱損傷的組合損傷向量。本文給出以下幾種常用的組合損傷向量。

4.1 檢測損傷位置的組合損傷向量

上述組合損傷向量具有以下性質(zhì)：（a）該輸入向量的參數(shù)只與損傷的位置有關(guān)，而與損傷程度無關(guān)；（b）這些輸入?yún)?shù)可以通過少數(shù)幾個模態(tài)矢量值，即使是只能獲得第一階的模態(tài)矢量值，也是可以的。如果m （n≤m）階固有頻率和n階模態(tài)矢量值在K個測量的自由度 （K=1，2，…，k）可以通過試驗獲得的話，那么網(wǎng)絡(luò)的輸入節(jié)點的數(shù)目為（m +nK），網(wǎng)絡(luò)的輸出向量為：

這里， q為所有可能發(fā)生的損傷數(shù)目；Li∈[0，1]，如果Li為零則表示在i點沒有損傷，否則，就表示在i點有損傷發(fā)生。

4.2 檢測損傷程度的組合損傷向量

上述組合損傷向量是把損傷信號指標和僅與損傷程度有關(guān)的輸入?yún)?shù)組合得到的。網(wǎng)絡(luò)的輸入節(jié)點的數(shù)目為（2m +nK）。網(wǎng)絡(luò)的輸出向量為：

發(fā)生在i點的損傷的程度。

4.3檢測損傷位置和程度的組合損傷向量

上述組合損傷向量是把損傷信號指標和與損傷位置和損傷程度均有關(guān)的輸入?yún)?shù)組合得到的。對該組合損傷向量來說，網(wǎng)絡(luò)的輸入節(jié)點的數(shù)目為（2m +nK）。網(wǎng)絡(luò)的輸出向量為：

這里， 發(fā)生在i點的損傷的程度。

若損傷位置和損傷程度都采用相同的網(wǎng)絡(luò)結(jié)構(gòu)，輸入向量采用（10）式，而輸出向量采用下面的公式：

這里， 的意義與公式（7）相同，而E則表示在損傷位置的損傷程度。但是這樣求得的損傷程度只是一個粗略的估計，要想知道更準確的損傷程度，就要重新學習訓練網(wǎng)絡(luò)。

5 結(jié)束語

本文提出了框架結(jié)構(gòu)損傷檢測的新方法―基于BP網(wǎng)絡(luò)的結(jié)構(gòu)損傷四步檢測法。

由于本文只是針對對稱框架做了部分工作，對于剪力墻、板等構(gòu)件可以等效為若干桿件組成的桿件模型進行損傷檢測，但是其效果如何還有待于試驗驗證。同時也有必要加強輸入?yún)?shù)的研究并積極尋求精度和敏感性更好的新的神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù)。

參考文獻

[1] P. Cawley and R.D. Adams， The location of deficits in structures from measurements of natural frequencies， Journal of Strain Analysis 14 （1979） 49-57.

[2] P.C. Kaminski， The approximate location of damage through the analysis of natural frequencies with artificial neural networks， Journal of Process Mechanical Engineering 209 （1995） 117-123.

[3] H.F. Lam， J.M. Ko and C.W. Wong， Localization of damaged structural connections based on experiental modal and sensitivity analysis， Journal of Sound and Vibration 210 （1998） 91-115.

神經(jīng)網(wǎng)絡(luò)的正則化方法范文第2篇

關(guān)鍵詞：物聯(lián)網(wǎng)；LS-SVM；數(shù)據(jù)模型

中圖分類號：TP393

文獻標識碼：A

文章編號：1009-3044（2017）10-0145-02

1.引言

前神經(jīng)網(wǎng)絡(luò)（feedforwardneuralnetwork），簡稱前饋網(wǎng)絡(luò)，是人工神經(jīng)網(wǎng)絡(luò)的一種。

2.概念相關(guān)概述

2.1前饋人工神經(jīng)網(wǎng)絡(luò)現(xiàn)實基礎(chǔ)模型

首先，生物神經(jīng)元模型。人的大腦中有眾多神經(jīng)元，而神經(jīng)元之間需要神經(jīng)突觸連接，進而構(gòu)成了復雜有序的神經(jīng)網(wǎng)絡(luò)。而神經(jīng)元主要由樹突、軸突和細胞體組成。一個神經(jīng)元有一個細胞體和軸突，但是卻有很多樹突。樹突是神經(jīng)元的輸入端，用于接受信息，并向細胞體財團對信息。而細胞體是神經(jīng)元的信息處理中心，能夠?qū)π盘栠M行處理。軸突相當于信息輸出端口，負責向下一個神經(jīng)元傳遞信息；其次，人工神經(jīng)元。人工神經(jīng)元的信息處理能力十分有限，但是，由眾多人工神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)系統(tǒng)龐大，具有巨大的潛力，能夠解決復雜問題。人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)具有相似之處，人工神經(jīng)網(wǎng)絡(luò)能夠從環(huán)境中獲取知識，并存儲信息。前饋人工神經(jīng)網(wǎng)絡(luò)主要包括隱含層、輸入層和輸出層。在前饋人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元將信號進行非線性轉(zhuǎn)換之后，將信號傳遞給下一層，信息傳播是單向的。并且，前饋人工神經(jīng)網(wǎng)絡(luò)是人們應(yīng)用最多的網(wǎng)絡(luò)模型，常見的有BP神經(jīng)網(wǎng)絡(luò)、單層感知器、RBF神經(jīng)網(wǎng)絡(luò)等模型。

2.2 LS-SVM相關(guān)概述

支撐向量機是一種基于統(tǒng)計學習理論的機器學習方法，能夠根據(jù)樣本信息進行非現(xiàn)象映射，解回歸問題的高度非現(xiàn)象問題。并且，支撐向量機在解決非線性、局部極小點方問題上有很大的優(yōu)勢。LS-SVM也叫最小二乘支撐向量機，是支撐向量機的一種，遵循支撐向量機算法的結(jié)構(gòu)風險最小化的原則，能夠?qū)⒅蜗蛄繖C算法中的不等式約束改為等式約束，進而將二次問題轉(zhuǎn)換為線性方程問題，大大降低了計算的復雜性。并且，LS-SVM在運算速度上遠遠高于支持向量機。但是，LS-SVM也存在一定的缺點，在計算的過程中，LS-SVM的忽視了全局最優(yōu)，只能實現(xiàn)局部最優(yōu)。并且，LS-SVM在處理噪聲污染嚴重的樣本時，會將所有的干擾信息都擬合到模型系統(tǒng)中，導致模型的魯棒性降低。另外，LS-SVM的在線建模算法、特征提取方法以及LS-SVM的支持向量稀疏性都有待改進。

2.3物聯(lián)網(wǎng)下人工神經(jīng)網(wǎng)絡(luò)前饋LS-SVM研究的意義

物聯(lián)網(wǎng)是互聯(lián)網(wǎng)技術(shù)的發(fā)展趨勢，為前饋人工神經(jīng)網(wǎng)絡(luò)的發(fā)展與LS-SVM研究提供了技術(shù)保障，在物聯(lián)網(wǎng)背景下，研究人工神經(jīng)網(wǎng)絡(luò)前饋LS-SVM不僅能夠創(chuàng)新人工神經(jīng)網(wǎng)絡(luò)的計算方法，完善人工神經(jīng)網(wǎng)絡(luò)在現(xiàn)實生活中的應(yīng)用，而且對人們生活的自動化和智能化發(fā)展有著重要意義。另外，物聯(lián)網(wǎng)為人們對LS-SVM的研究提供了條件，在物聯(lián)網(wǎng)環(huán)境下，人們能夠運用信息技術(shù)深化最小二乘支撐向量機研究，不斷提高LS-SVM回歸模型的魯棒性，改進LS-SVM的特征提取方法和在線建模算法，完善計算機學習方法，提升計算機的運算速度。3基于LS―SVM的丟包數(shù)據(jù)模型

在選擇的參數(shù)的基礎(chǔ)上，運用IS-SVM方法，建立評估模型。本文選用LS-SVM回歸方法的原因，SVM優(yōu)于神經(jīng)網(wǎng)絡(luò)的方法主要是以下幾點：

首先，了解數(shù)據(jù)挖掘，數(shù)據(jù)挖掘前景廣闊，SVM是數(shù)據(jù)挖掘中的新方法。其次，選擇合適的數(shù)據(jù)分析方法根據(jù)數(shù)據(jù)集的大小和特征。小樣本訓練適合SVM，樣本大情況的訓練適宜神經(jīng)網(wǎng)絡(luò)，這里用SVM。

然后，就是文獻使用SVM和PCA建立跨層的評估QOE，實驗結(jié)果表明主觀MOS評分和此評價結(jié)果具有很好的一致性。

最后，本文采用SVM基礎(chǔ)上的進一步拔高，LS-SVM，比SVM運行快，精確度高。srcl3_hrcl_525.yuv實驗素材的特征是具有高清性質(zhì)。525序列60HZ，幀大小為1440x486字節(jié)/幀，625序列50HZ，大小同上。YUV格式是422格式即4：2：2格式的。

時域復雜度的模型如下，視頻的時域復雜度σ；編碼量化參數(shù)是Q；編碼速率為R；待定模型的參數(shù)為a和b。σ=Q（aR+b）。通過大量的實驗和理論分析，得到模型的參數(shù)：a=l 260，b=0.003。其中，編碼速率和幀率可以看作是視頻的固有屬性。高清視頻編碼速率R是512kb/s，最大幀速率為30000/1001=29.97幅，秒。量化參數(shù)是根據(jù)實驗的具體情況確定的。計算σ的值如下所示：當量化參數(shù)為31時，σ=19998720.1，當量化參數(shù)為10時，σ=6451200.03，當量化參數(shù)為5時，σ=3225600.02，當量化參數(shù)為62時，σ=39997440.2，當量化參數(shù)為100時，σ=64512000.3，當量化參數(shù)為200時，σ=129024001，當量化參數(shù)為255時，σ=164505601。

對于srcl3網(wǎng)絡(luò)環(huán)境建立考慮網(wǎng)絡(luò)丟包的視頻質(zhì)量無參評估模型使用LS-SVM方法。

（1）輸入x的值。XI是量化參數(shù)，X2封包遺失率，X3單工鏈路速度，X4雙工鏈路速度，X5視頻的時域復雜度。等權(quán)的參數(shù)。

LS-SVM要求調(diào)用的參數(shù)只有兩個gam和sig2并且他們是LS-SVM的參數(shù)，其中決定適應(yīng)誤差的最小化和平滑程度的正則化參數(shù)是gam，RBF函數(shù)的參數(shù)是sig2。Type有兩種類型，一種是elassfieation用于分類的，一種是function estimation用于函數(shù)回歸的。

4.機器學習和物聯(lián)網(wǎng)的結(jié)合

物聯(lián)網(wǎng)中也用到人工智能，人工智能中有機器學習，機器學習中有神經(jīng)網(wǎng)絡(luò)。機器學習是人工智能研究的核心問題之一，也是當前人工智能研究的一個熱門方向。

神經(jīng)網(wǎng)絡(luò)的正則化方法范文第3篇

【關(guān)鍵詞】股指期貨；股指期貨預測；人工神經(jīng)網(wǎng)絡(luò)；支持向量機

k提出了支持向量機（Support Vector Machine簡稱SVM）的概念。它以統(tǒng)計學習理論為基礎(chǔ)，是一種建立在VC維和結(jié)構(gòu)風險最小化原則基礎(chǔ)上的一種新的機器學習方法。以其完善的理論基礎(chǔ)、學習性能和預測性能得到了廣泛的關(guān)注和應(yīng)用。

1.支持向量機介紹

支持向量機（SVM）是近幾年來一種新的學習方法，與一般神經(jīng)網(wǎng)絡(luò)相比，支持向量機算法將轉(zhuǎn)化為一個二次型尋優(yōu)問題，從理論上講得到的是全局最優(yōu)點，可以解決在神經(jīng)網(wǎng)絡(luò)中無法避免的局部極小值所出現(xiàn)的問題。支持向量機的拓撲結(jié)構(gòu)由支持向量決定，避免了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)需要經(jīng)驗試湊的方法，而且SVM的最優(yōu)求解基于結(jié)構(gòu)風險最小化思想，因此具有比其他非線性函數(shù)逼近方法具有更強的泛化能力。

2.原理分析

給定一個數(shù)據(jù)集作為訓練樣本，其中是輸入變量，是期望值，是數(shù)據(jù)點的總數(shù)。通過訓練學習尋求一模式使得樣本集不但滿足，而且對于樣本以外的通過能找出對應(yīng)的。估計函數(shù)為式中：是從輸入空間到高維特征空間的非線性映射，為偏置量。根據(jù)結(jié)構(gòu)風險最小化原理函數(shù)估計問題就是尋找使下面風險函數(shù)最?。?/p>

=

式中：反映了回歸函數(shù)的泛化能力，是正則化部分；為懲罰因子；是經(jīng)驗風險（即樣本損失函數(shù)的累積）。

常用的樣本損失函數(shù)有二次函數(shù)、Huber函數(shù)、Laplace函數(shù)和不敏感函數(shù)等，由于不敏感函數(shù)能夠忽略范圍內(nèi)的回歸誤差所以樣本損失常由不敏感函數(shù)來度量引進不靈敏損失函數(shù)，可得到回歸支持向量機模型：

常用的核函數(shù)是徑向基函

式中為核參數(shù)。

3.影響期貨合約價格因素的分析

在考慮對支持向量機模型進行訓練之前，首先要考慮輸入因素和輸出因素的選取。對于影響股指期貨合約價格的變動，從宏觀經(jīng)濟條件方面考慮，主要受以下幾個因素的影響：宏觀經(jīng)濟運行狀況、宏觀經(jīng)濟政策變化、與標的指數(shù)成份股相關(guān)的各種信息、國際金融市場走勢、股指期貨合約到期日、投資者心理的變化等。如果從數(shù)據(jù)指標方面來看，主要是滬深300股指期貨合約的每日基本數(shù)據(jù)信息，包括：（1）最高價數(shù)據(jù)；（2）最低價數(shù)據(jù)；（3）開盤價數(shù)據(jù)；（4）收盤價數(shù)據(jù)；（5）總持倉量數(shù)據(jù)；（6）期貨合約成交金額總量；（7）平均價格。本文希望得到的是用訓練模型預測期貨合約第二天的收盤價。在支持向量機訓練學習中，如果訓練樣本容量過小，將不利于預測精度的控制，就很有可能造成泛化性較差的狀況出現(xiàn)。因而本文采用模擬仿真交易歷史數(shù)據(jù)中一年的滬深3OO股指期貨第一季月IFSC3合約相關(guān)數(shù)據(jù)，數(shù)據(jù)區(qū)間為2008年12月11日至2009年12月18日，共238個交易數(shù)據(jù)。

4.數(shù)據(jù)的預處理與誤差分析

由于獲取的樣本數(shù)據(jù)的單位不同，如成交金額的單位是萬元，開盤價的單位是點，持倉總數(shù)的單位是手，這三者的數(shù)據(jù)屬性都是不同的，為了將從滬深3OO指數(shù)期貨市場獲得的數(shù)據(jù)轉(zhuǎn)化為讓模型接受的輸入形式，本文對選取的數(shù)據(jù)進行預處理，采用對同類別組的數(shù)據(jù)歸一化的方法，其過程是用同組類別的每一個值分別減去該組中的最小值，再除以該組最大值與最小值之差，使之歸一化。例如設(shè)同組數(shù)據(jù)為。

則歸一化函數(shù)為：

其中：

5.結(jié)論分析

通過不斷訓練，最后我們得到了高精度的支持向量機模型。最后我們對以上思路進行Matlab編程，利用Matlab7.0軟件對樣本數(shù)據(jù)進行實證研究。將訓練樣本數(shù)據(jù)的6個變量輸入到我們訓練好的模型中，會得到一個預測值，將第二天的期貨收盤價格預測值對比真實的第二天的期貨結(jié)算價格，可以觀察其問的誤差大小。其結(jié)果如圖3所示。

通過訓練得到支持向量機的預測模型，對通過2009年11月19日的開盤價，最高價，最低價，平均價，成交量，持倉量，收盤價對11月20日的收盤價進行預測，通過分析得到3969.6，而真實值為3999，相對誤差僅僅為0.74%。

參考文獻

[1]胡瑩.基于支持向量機的證券投資風險管理研究[D].西安電子科技大學,2010,1.

神經(jīng)網(wǎng)絡(luò)的正則化方法范文第4篇

過去10年，人們對機器學習的興趣激增。幾乎每天，你都可以在各種各樣的計算機科學課程、行業(yè)會議、華爾街日報等等看到有關(guān)機器學習的討論。在所有關(guān)于機器學習的討論中，許多人把機器學習能做的事情和他們希望機器學習做的事情混為一談。從根本上講，機器學習是使用算法從原始數(shù)據(jù)中提取信息，并在某種類型的模型中表示這些信息。我們使用這個模型來推斷還沒有建模的其他數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)是機器學習的一種模型，它們至少有50年歷史了。神經(jīng)網(wǎng)絡(luò)的基本單元是節(jié)點(node)，基本上是受哺乳動物大腦中的生物神經(jīng)元啟發(fā)。神經(jīng)元之間的連接也以生物的大腦為模型，這些連接隨著時間的推移而發(fā)展的方式是為“訓練”。

在20世紀80年代中期和90年代初期，許多重要的架構(gòu)進步都是在神經(jīng)網(wǎng)絡(luò)進行的。然而，為了得到好的結(jié)果需要大量時間和數(shù)據(jù)，這阻礙了神經(jīng)網(wǎng)絡(luò)的采用，因而人們的興趣也減少了。在21世紀初，計算能力呈指數(shù)級增長，計算技術(shù)出現(xiàn)了“寒武紀大爆發(fā)”。在這個10年的爆炸式的計算增長中，深度學習成為這個領(lǐng)域的重要的競爭者，贏得了許多重要的機器學習競賽。直到2017年，這種興趣也還沒有冷卻下來；今天，我們看到一說機器學習，就不得不提深度學習。

作者本人也注冊了Udacity的“Deep Learning”課程，這門課很好地介紹了深度學習的動機，以及從TensorFlow的復雜和/或大規(guī)模的數(shù)據(jù)集中學習的智能系統(tǒng)的設(shè)計。在課程項目中，我使用并開發(fā)了用于圖像識別的卷積神經(jīng)網(wǎng)絡(luò)，用于自然語言處理的嵌入式神經(jīng)網(wǎng)絡(luò)，以及使用循環(huán)神經(jīng)網(wǎng)絡(luò)/長短期記憶的字符級文本生成。

本文中，作者總結(jié)了10個強大的深度學習方法，這是AI工程師可以應(yīng)用于他們的機器學習問題的。首先，下面這張圖直觀地說明了人工智能、機器學習和深度學習三者之間的關(guān)系。

人工智能的領(lǐng)域很廣泛，深度學習是機器學習領(lǐng)域的一個子集，機器學習又是人工智能的一個子領(lǐng)域。將深度學習網(wǎng)絡(luò)與“經(jīng)典的”前饋式多層網(wǎng)絡(luò)區(qū)分開來的因素如下:

比以前的網(wǎng)絡(luò)有更多的神經(jīng)元更復雜的連接層的方法用于訓練網(wǎng)絡(luò)的計算機能力的“寒武紀大爆炸”自動特征提取

這里說的“更多的神經(jīng)元”時，是指神經(jīng)元的數(shù)量在逐年增加，以表達更復雜的模型。層(layers)也從多層網(wǎng)絡(luò)中的每一層都完全連接，到在卷積神經(jīng)網(wǎng)絡(luò)中層之間連接局部的神經(jīng)元，再到在循環(huán)神經(jīng)網(wǎng)絡(luò)中與同一神經(jīng)元的循環(huán)連接(recurrent connections)。

深度學習可以被定義為具有大量參數(shù)和層的神經(jīng)網(wǎng)絡(luò)，包括以下四種基本網(wǎng)絡(luò)結(jié)構(gòu)：

無監(jiān)督預訓練網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)網(wǎng)絡(luò)

在本文中，主要介紹后三種架構(gòu)?；旧希矸e神經(jīng)網(wǎng)絡(luò)(CNN)是一個標準的神經(jīng)網(wǎng)絡(luò)，通過共享的權(quán)重在空間中擴展。CNN設(shè)計用于通過內(nèi)部的卷積來識別圖像，它可以看到圖像中待識別的物體的邊緣。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)被設(shè)計用于識別序列，例如語音信號或文本。它的內(nèi)部有循環(huán)，這意味著網(wǎng)絡(luò)上有短的記憶。遞歸神經(jīng)網(wǎng)絡(luò)更像是一個層級網(wǎng)絡(luò)，在這個網(wǎng)絡(luò)中，輸入必須以一種樹的方式進行分層處理。下面的10種方法可以應(yīng)用于所有這些架構(gòu)。

1.反向傳播

反向傳播(Back-prop)是一種計算函數(shù)偏導數(shù)(或梯度)的方法，具有函數(shù)構(gòu)成的形式(就像神經(jīng)網(wǎng)絡(luò)中)。當使用基于梯度的方法(梯度下降只是方法之一)解決優(yōu)化問題時，你需要在每次迭代中計算函數(shù)梯度。

對于神經(jīng)網(wǎng)絡(luò)，目標函數(shù)具有組合的形式。如何計算梯度呢？有兩種常用的方法：(i)解析微分(Analytic differentiation)。你已經(jīng)知道函數(shù)的形式，只需要用鏈式法則(基本微積分)來計算導數(shù)。(ii)利用有限差分進行近似微分。這種方法在計算上很昂貴，因為函數(shù)值的數(shù)量是O(N)，N指代參數(shù)的數(shù)量。不過，有限差分通常用于在調(diào)試時驗證back-prop實現(xiàn)。

2.隨機梯度下降法

一種直觀理解梯度下降的方法是想象一條河流從山頂流下的路徑。梯度下降的目標正是河流努力達到的目標——即，到達最底端(山腳)。

現(xiàn)在，如果山的地形是這樣的，在到達最終目的地之前，河流不會完全停下來(這是山腳的最低點，那么這就是我們想要的理想情況。)在機器學習中，相當從初始點(山頂)開始，我們找到了解決方案的全局最小(或最佳)解。然而，可能因為地形的性質(zhì)迫使河流的路徑出現(xiàn)幾個坑，這可能迫使河流陷入困境。在機器學習術(shù)語中，這些坑被稱為局部極小值，這是不可取的。有很多方法可以解決這個問題。

因此，梯度下降很容易被困在局部極小值，這取決于地形的性質(zhì)(用ML的術(shù)語來說是函數(shù)的性質(zhì))。但是，當你有一種特殊的地形時(形狀像一個碗，用ML的術(shù)語來說，叫做凸函數(shù))，算法總是保證能找到最優(yōu)解。凸函數(shù)對ML的優(yōu)化來說總是好事，取決于函數(shù)的初始值，你可能會以不同的路徑結(jié)束。同樣地，取決于河流的速度(即，梯度下降算法的學習速率或步長)，你可能以不同的方式到達最終目的地。這兩個標準都會影響到你是否陷入坑里(局部極小值)。

3.學習率衰減

根據(jù)隨機梯度下降的優(yōu)化過程調(diào)整學習率(learning rate)可以提高性能并減少訓練時間。有時這被稱為學習率退火(learning rate annealing)或自適應(yīng)學習率(adaptive learning rates)。訓練過程中最簡單，也是最常用的學習率適應(yīng)是隨著時間的推移而降低學習度。在訓練過程開始時使用較大學習率具有進行大的改變的好處，然后降低學習率，使得后續(xù)對權(quán)重的訓練更新更小。這具有早期快速學習好權(quán)重，后面進行微調(diào)的效果。

兩種常用且易于使用的學習率衰減方法如下：

逐步降低學習率。在特定的時間點較大地降低學習率。

4?. Dropout

具有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)是非常強大的機器學習系統(tǒng)。然而，過擬合在這樣的網(wǎng)絡(luò)中是一個嚴重的問題。大型網(wǎng)絡(luò)的使用也很緩慢，這使得在測試時將許多不同的大型神經(jīng)網(wǎng)絡(luò)的預測結(jié)合起來變得困難。Dropout是解決這個問題的一種方法。

Dropout的關(guān)鍵想法是在訓練過程中隨機地從神經(jīng)網(wǎng)絡(luò)中把一些units(以及它們的連接)從神經(jīng)網(wǎng)絡(luò)中刪除。這樣可以防止單元過度適應(yīng)。在訓練過程中，從一個指數(shù)級的不同的“稀疏”網(wǎng)絡(luò)中刪除一些樣本。在測試時，通過簡單地使用一個具有較小權(quán)重的單一網(wǎng)絡(luò)，可以很容易地估計所有這些“變瘦”了的網(wǎng)絡(luò)的平均預測效果。這顯著減少了過擬合，相比其他正則化方法有了很大改進。研究表明，在視覺、語音識別、文檔分類和計算生物學等監(jiān)督學習任務(wù)中，神經(jīng)網(wǎng)絡(luò)的表現(xiàn)有所提高，在許多基準數(shù)據(jù)集上獲得了state-of-the-art的結(jié)果。

5. Max Pooling

最大池化(Max pooling)是一個基于樣本的離散化過程。目標是對輸入表示(圖像，隱藏層輸出矩陣等)進行下采樣，降低其維度，并允許對包含在分區(qū)域中的特征進行假設(shè)。

這在一定程度上是為了通過提供一種抽象的表示形式來幫助過擬合。同時，它通過減少學習的參數(shù)數(shù)量，并為內(nèi)部表示提供基本的平移不變性(translation invariance)，從而減少計算成本。最大池化是通過將一個最大過濾器應(yīng)用于通常不重疊的初始表示的子區(qū)域來完成的。

6.批量歸一化

當然，包括深度網(wǎng)絡(luò)在內(nèi)的神經(jīng)網(wǎng)絡(luò)需要仔細調(diào)整權(quán)重初始化和學習參數(shù)。而批量標準化有助于實現(xiàn)這一點。

權(quán)重問題：無論權(quán)重的初始化如何，是隨機的也好是經(jīng)驗性的選擇也罷，都距離學習到的權(quán)重很遙遠。考慮一個小批量(mini batch)，在最初時，在所需的特征激活方面將會有許多異常值。

深度神經(jīng)網(wǎng)絡(luò)本身是有缺陷的，初始層中一個微小的擾動，就會導致后面層巨大的變化。在反向傳播過程中，這些現(xiàn)象會導致對梯度的分散，這意味著在學習權(quán)重以產(chǎn)生所需輸出之前，梯度必須補償異常值，而這將導致需要額外的時間才能收斂。

批量歸一化將梯度從分散規(guī)范化到正常值，并在小批量范圍內(nèi)向共同目標(通過歸一化)流動。

學習率問題：一般來說，學習率保持較低，只有一小部分的梯度校正權(quán)重，原因是異常激活的梯度不應(yīng)影響學習的激活。通過批量歸一化，減少異常激活，因此可以使用更高的學習率來加速學習過程。

7.長短時記憶

LSTM網(wǎng)絡(luò)在以下三個方面與RNN的神經(jīng)元不同：

能夠決定何時讓輸入進入神經(jīng)元；能夠決定何時記住上一個時間步中計算的內(nèi)容；能夠決定何時讓輸出傳遞到下一個時間步長。

LSTM的優(yōu)點在于它根據(jù)當前的輸入本身來決定所有這些。所以，你看下面的圖表：

當前時間標記處的輸入信號x(t)決定所有上述3點。輸入門從點1接收決策，遺忘門從點2接收決策，輸出門在點3接收決策，單獨的輸入能夠完成所有這三個決定。這受到我們的大腦如何工作的啟發(fā)，并且可以基于輸入來處理突然的上下文/場景切換。

8. Skip-gram

詞嵌入模型的目標是為每個詞匯項學習一個高維密集表示，其中嵌入向量之間的相似性顯示了相應(yīng)詞之間的語義或句法相似性。Skip-gram是學習單詞嵌入算法的模型。

Skip-gram模型(以及許多其他的詞語嵌入模型)的主要思想是：如果兩個詞匯項(vocabulary term)共享的上下文相似，那么這兩個詞匯項就相似。

換句話說，假設(shè)你有一個句子，比如“貓是哺乳動物”。如果你用“狗”去替換“貓”，這個句子仍然是一個有意義的句子。因此在這個例子中，“狗”和“貓”可以共享相同的上下文(即“是哺乳動物”)。

基于上述假設(shè)，你可以考慮一個上下文窗口(context window，一個包含k個連續(xù)項的窗口)，然后你跳過其中一個單詞，試著去學習一個能夠得到除跳過項外所有項的神經(jīng)網(wǎng)絡(luò)，并預測跳過的項是什么。如果兩個詞在一個大語料庫中反復共享相似的語境，則這些詞的嵌入向量將具有相近的向量。

9.連續(xù)詞袋(Continuous Bag Of Words)

在自然語言處理問題中，我們希望學習將文檔中的每個單詞表示為一個數(shù)字向量，使得出現(xiàn)在相似的上下文中的單詞具有彼此接近的向量。在連續(xù)的單詞模型中，我們的目標是能夠使用圍繞特定單詞的上下文并預測特定單詞。

我們通過在一個龐大的語料庫中抽取大量的句子來做到這一點，每當我們看到一個單詞時，我們就會提取它周圍的單詞。然后，我們將上下文單詞輸入到一個神經(jīng)網(wǎng)絡(luò)，并預測位于這個上下文中心的單詞。

當我們有成千上萬的這樣的上下文單詞和中心詞以后，我們就有了一個神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的實例。訓練神經(jīng)網(wǎng)絡(luò)，最后編碼的隱藏層輸出表示特定單詞的嵌入。而當我們對大量的句子進行訓練時也能發(fā)現(xiàn)，類似語境中的單詞得到的是相似的向量。

10.遷移學習

神經(jīng)網(wǎng)絡(luò)的正則化方法范文第5篇

關(guān)鍵詞:最小二乘支持向量機;模糊核聚類;集成學習;短期負荷預測

中圖分類號: TP273

文獻標志碼:A

Support vector machine ensemble model based on KFCM and its application

ZHANG Na1,2,ZHANG Yongping1

1.College of Computer,China University of Mining and Technology,Xuzhou Jiangsu 221116,China;

2.College of Computer,Suqian Higher Normal School,Suqian Jiangsu 223800,China

)

Abstract: To further enhance the regression prediction accuracy of support vector machine, a Least Squares Support Vector Machine (LSSVM) ensemble model based on Kernel Fuzzy CMeans clustering (KFCM) was proposed. The KFCM algorithm was used to classify LSSVMs trained independently by its output on validate samples, the generalization errors of LSSVMs in each category to the validate set were calculated of the LSSVM whose error was minimum would be selected as the representative of its category, and then the final prediction was obtained by simple average of the predictions of the component LSSVM. The experiments in shortterm load forecasting show the proposed approach has higher accuracy.

Key words: Least Squares Support Vector Machine (LSSVM);Kernel Fuzzy CMeans clustering (KFCM);ensemble learning;shortterm load forecasting

0 引言

支持向量機( Support Vector Machine, SVM) [1]以統(tǒng)計學習理論為基礎(chǔ), 采用結(jié)構(gòu)風險最小化準則和VC維理論, 根據(jù)有限數(shù)據(jù)信息在模型的復雜度和學習能力之間尋找最佳折中, 從而獲得最好的推廣能力, 能夠較好地解決小樣本、非線性、高維數(shù)和局部極小點等問題。最小二乘支持向量機[2] (Least Squares Support Vector Machine, LSSVM)對傳統(tǒng)支持向量機進行改進,提高了求解問題的速度和收斂精度。但在實際應(yīng)用中,最小二乘支持向量機的訓練和泛化性能受到正則化參數(shù)Е錨Ш禿絲磯泉Е要取值的影響。集成學習可以通過簡單地訓練多個學習機(如神經(jīng)網(wǎng)絡(luò)、支持向量機等)并將其結(jié)果進行結(jié)合,從而有效地提高學習系統(tǒng)的泛化能力[3]。現(xiàn)有理論研究表明[4-5],對集成的個體進行必要的選擇能夠有效地降低神經(jīng)網(wǎng)絡(luò)集成的泛化誤差。為了更好地解決SVM的模型選擇問題,本文提出了一種模糊核聚類最小二乘支持向量機集成模型,并將其應(yīng)用于短期電力負荷預測中。實驗結(jié)果表明,該方法可以有效地提高短期電力負荷預測的精確度,具有更好的泛化性能。

1 最小二乘支持向量機的原理

LSSVM[2,6]是對SVM的一種改進,它將傳統(tǒng)SVM中的不等式約束改為等式約束,且將誤差平方和損失函數(shù)作為訓練集的經(jīng)驗損失,這樣就把解二次規(guī)劃問題轉(zhuǎn)化為求解線性方程組問題,從而提高了求解問題的速度和收斂精度。

設(shè)給定訓練樣本集{xk,yk}(k=1,…,N),xkRn,ykR,利用非線性映射φ(•)將輸入空間映射為高維特征空間,再進行最優(yōu)線性回歸,對未知函數(shù)進行回歸估計可表達為:

y(x)=wTφ(x)+b (1)

式中權(quán)向量wRn,偏置量bR。這樣構(gòu)造的函數(shù)y(x)可使得對于樣本集之外的輸入x,也能精確地估計出相應(yīng)的輸出y。LSSVM定義優(yōu)化問題為:

И┆minw,b,e J(w,e)=wTw/2+γ∑Nk=1e2k/2; γ>0 (2)

s.t.yk=wTφ(xk)+b+ek,k=1,2,…,Nお

式中:в嘔目標函數(shù)J的第1、2項分別控制模型的復雜度和誤差的范圍;γ為正則化參數(shù)(處罰因子);ek為不敏感損失函數(shù)的松弛因子。

引入Lagrange函數(shù)L求解式(2)的優(yōu)化問題,即:オ

L(w,b,e,a)=J(w,e)-∑Nk=1ak[wTφ(xk)+b+ek-yk] (3)

式中ak為Lagrange乘子。根據(jù)KKT最優(yōu)條件,可得到此優(yōu)化問題的解析解為:

ba=01Tお1TΩ+γ-1I-10y (4)

其中,y=[y1, y2,…, yN]T;1=[1,…,1]┆T;a=[a1, a2,…, aN]T;I為N×N的單位矩陣;Ω為方陣,其第k列l(wèi)行的元素為Ωkl =φ(xk)Tφ(xl) = K(xk, xl),K(•,•)為核函數(shù),它為滿足Mercer條件的任意對稱函數(shù)。這樣,不需要知道非線性變換的具體形式,就可用核函數(shù)來實現(xiàn)算法的線性化。本文采用高斯徑向基函數(shù)(Radical Basis Function,RBF)為核函數(shù),其表達式為:

K(xk,xl)=exp(-|xk-xl|2/(2σ2)) (5)

式中Е要為核寬度,反映了邊界封閉包含的半徑。

式(4)的線性系統(tǒng)可用最小二乘算法求解出b和a,再由式(3)進一步求出w,Т傭得到訓練數(shù)據(jù)集的非線性逼近為:

y(x)=∑Nk=1akK(x,xk)+b (6)

從式(6)可知,SVM回歸可用3層的網(wǎng)絡(luò)結(jié)構(gòu)來表示,其中輸入層、б層和輸出層的節(jié)點數(shù)分別為n、N和1,而輸入層與隱層之間、隱層與輸出層之間的連接權(quán)值分別為1和ak。

在實際應(yīng)用中,最小二乘支持向量機的訓練和泛化性能受到正則化參數(shù)Е錨Ш禿絲磯泉Е要取值的影響,迫切需要一種切實可行的方法來進一步提高LSSVM預測的精確度和穩(wěn)定性。

┑1期 拍鵲:模糊核聚類支持向量機集成模型及應(yīng)用

┆撲慊應(yīng)用 ┑30卷

2 基于KFCM的LSSVM集成

2.1 模糊核聚類算法(KFCM)

KFCM算法的基本思想是利用非線性映射Е(*)把輸入模式向量空間變換到一個高維特征空間,然后在該特征空間采用模糊c均值算法,Ф員浠緩蟮奶卣饗蛄喀(xi)進行模糊聚類分析[7-8]。它能夠突出不同類別樣本特征的差異,使得原來線性不可分的樣本點在核空間中變得線性可分,從而實現(xiàn)更為準確的聚類。オ

假設(shè)輸入空間的樣本X={x1, x2,…, xn},X Rp,通過一個非線性映射Е:χFЫ輸入空間Е直浠恢糧呶特征空間F,c為預定的類別數(shù)目,vi (i=1,2,…,c)為第i個聚類的中心,uik(i=1,2,…,c; k=1,2,…,n)是第k個樣本對第i類的隸屬度函數(shù),且0≤uik≤1Ъ藹0

Jm(U,v)=∑ci=1∑nk=1umikΦ(xk)-Φ(vi)2 (7)

式中,U={uik},v={v1, v2,…, vc},m>1為加權(quán)指數(shù),其約束為:オ

Аci=1uik=1; k=1,2,…,n (8)

Фㄒ搴撕數(shù)K(x, y),滿足K(x, y)=Φ(x)TΦ(y),KFCM聚類的準則是求目標函數(shù)的極小值。根據(jù)Lagrange乘子尋優(yōu)法,式(7)所示目標函數(shù)的最小值可由式(9)、(10)求得:

uik=(1/(K(xk,xk)+K(vi,vi)-2K(xk,vi)))1m-1∑cj=1(1/(K(xk,xk)+K(vj,vj)-2K(xk,vj)))1m-1 (9)

vi=∑nk=1umikK(xk,vi)xk∑nk=1umikK(xk,vi)(10)

綜上所述,KFCM算法的步驟如下:

步驟1 設(shè)定聚類數(shù)目c和參數(shù)m;

步驟2 С跏薊各個聚類中心vi;

步驟3 重復下面的運算,直到各個樣本的隸屬度值穩(wěn)定:1)用當前的聚類中心根據(jù)式(9)更新隸屬度;2)用當前的聚類中心和隸屬度根據(jù)式(10)更新各個聚類中心。本文中選擇高斯徑向基核函數(shù)。

2.2 LSSVM模糊核聚類集成

選擇性集成的方法能夠取得比用全部個體集成更好的泛化性能[4],本文采用模糊核聚類集成[9]的方法來解決集成中個體LSSVM的選取問題。

首先用KFCM算法對相互獨立訓練出的mЦLSSVM個體進行分類,然后計算所有類別中每個個體LSSVM在獨立驗證集上的泛化誤差,最后分別選取每個類別中平均泛化誤差最小的LSSVM個體作為這一類的代表進行簡均法集成。具體實現(xiàn)步驟如下:

步驟1 Ыm個LSSVM個體對每個獨立驗證樣本的輸出按照相同的順序以列向量的形式存放到輸出矩陣O中;

步驟2 а窬劾嗍目c并設(shè)定加權(quán)指數(shù)m,ФLSSVM的輸出矩陣O進行模糊核聚類分析并可以得到隸屬度矩陣U;オ

步驟3 Ц據(jù)隸屬度矩陣U,Э傻妹扛LSSVM對所有c個類別的隸屬度的最大值,然后將相應(yīng)的LSSVM歸入具有隸屬度最大值的類別;

步驟4 計算每一類中的所有LSSVM個體在驗證集上的平均泛化誤差,將每一類中平均泛化誤差最小的LSSVM個體選擇出來;

步驟5 給定閾值Е,г諉扛隼啾鷸械淖羆迅鎏LSSVM中選擇平均泛化誤差小于Е霜У母鎏騫鉤勺鈧盞募成個體;

步驟6 將最終選擇出的個體LSSVM對測試樣本的輸出經(jīng)簡均法得到集成的最終輸出。

該方法既能夠保證最終集成中的個體LSSVM具有較高的精確度,而且也同時保證了個體之間具有較大的差異度,相關(guān)的理論研究表明[4, 9],這種集成方法可以進一步地提高集成學習的泛化能力。

3 短期負荷預測實例分析

短期負荷預測對制定發(fā)電調(diào)度計劃、確定燃料供應(yīng)計劃及合理安排機組檢修計劃等均有重要指導作用,其預測的精確性極大地影響著供電部門的經(jīng)濟效益。本文采用我國南方某電網(wǎng)2006年7月5日到8月10日的整點有功負荷值,在負荷預測日的前一天中,每隔2小時對電力負荷進行一次測量,這樣一來,一天共測得12組負荷數(shù)據(jù)。由于負荷值曲線相鄰的點之間不會發(fā)生突變,因此后一時刻的值必然和前一時刻的值有關(guān),除非出現(xiàn)重大事故等特殊情況。所以這里將前一天的實時負荷數(shù)據(jù)作為LSSVM的樣本數(shù)據(jù)。此外,由于電力負荷還與環(huán)境因素有關(guān),因此,還需要通過天氣預報等手段獲得預測日的最高氣溫、最低氣溫和天氣特征值,其中0表示晴天,0.5表示陰天和1表示雨天。這里將電力負荷預測日當天的氣象特征數(shù)據(jù)也作為LSSVM的輸入變量。因此,輸入變量就是一個15維的向量。目標向量就是預測日當天的12個負荷值,這樣輸出變量就是一個12維的向量。獲得輸入和輸出變量后,要對其進行歸一化處理,將數(shù)據(jù)處理為區(qū)間為[0, 1]的數(shù)據(jù),歸一化方法有很多種形式,本文采取如下方法:

=x-x┆minx┆max-x┆min(11)

LSSVM中的正則化參數(shù)Е錨Х直鶉100、300、500、700和900,而核寬度Е要Х直鶉0.25、0.5、0.75和1,這樣組合起來就有20個參數(shù)不同的LSSVM進行學習。然后用7月5日到8月3日共30天的負荷及天氣數(shù)據(jù)對這20個LSSVM進行訓練;再用訓練好的LSSVM對8月4日到8月9日這6天的負荷數(shù)據(jù)進行驗證,并根據(jù)輸出的預測結(jié)果對LSSVM進行聚類分析,在KFCM算法中,Ь劾嗍目c取5,參數(shù)m取為2,算法停止的條件為相鄰迭代步數(shù)間的隸屬度值的差的絕對值小于0.001,初始聚類中心取為0到1間的隨機數(shù),其中核函數(shù)選用高斯核函數(shù),并取Е要=32;最后,將最佳的5個LSSVM對8月10日的預測輸出經(jīng)簡均法得到集成的最終輸出。運行結(jié)果如圖1所示?？梢钥闯?本文方法取得了很好的預測效果,最終的預測均方誤差為7.651B7e-004,而KFCM算法中所選擇的5個最佳LSSVM的預測均方誤差分別為7.690B6e-004、7.717B3e-004、7.689B5e-004、7.705B1e-004和7.662B2e-004。圖2所示為預測誤差曲線。

圖片

圖1 實際負荷和LSSVM集成預測負荷

圖片

圖2 LSSVM集成預測誤差曲線

將LSSVM的參數(shù)采用隨機選取的方法,即正則化參數(shù)Е錨У娜≈搗段為[0, 1B000],核寬度Е要У娜≈搗段為[0, 1],在上述范圍內(nèi)隨機選取20個LSSVM進行訓練,仍然采用本文方法進行預測,多組實驗結(jié)果表明,其最終的預測均方誤差也不超過7.85e-004。表1所示為幾種方法進行比較的結(jié)果。

表格(有表名)

表1 三種方法平均預測誤差的比較