前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文，相信會(huì)為您的寫作帶來(lái)幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文第1篇

關(guān)鍵詞：深度學(xué)習(xí)；行為識(shí)別；神經(jīng)網(wǎng)絡(luò)

1 概述

動(dòng)作行為識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)研究熱點(diǎn)，已經(jīng)廣泛應(yīng)用于智能監(jiān)控、人機(jī)交互、視頻檢索等領(lǐng)域中[1]。動(dòng)作行為識(shí)別技術(shù)是通過(guò)對(duì)視頻或者圖像中人體動(dòng)作行為做出有意義的判斷。有效表達(dá)圖像（視頻）中的實(shí)際目標(biāo)和場(chǎng)景內(nèi)容是最基本，最核心的問(wèn)題。因此，對(duì)于特征的構(gòu)建和選擇得到廣泛關(guān)注，例如STIP、SIFT、MSER等。但是，能通過(guò)無(wú)監(jiān)督方式讓機(jī)器自動(dòng)從樣本中學(xué)習(xí)到表征樣本的特征，會(huì)讓人們更好地利用計(jì)算機(jī)來(lái)實(shí)現(xiàn)人的視覺(jué)功能。而深度學(xué)習(xí)作為神經(jīng)網(wǎng)絡(luò)的延伸和發(fā)展，是通過(guò)逐層構(gòu)建一個(gè)多層網(wǎng)絡(luò)來(lái)使得機(jī)器自動(dòng)學(xué)習(xí)到隱含在數(shù)據(jù)內(nèi)部的關(guān)系，從而讓學(xué)習(xí)到的特征更加準(zhǔn)確性。

文章旨在探討深度學(xué)習(xí)與機(jī)器學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)）之間的關(guān)系，并且介紹深度學(xué)習(xí)的由來(lái)、概念和原理；同時(shí)介紹目前深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)中的應(yīng)用。最后提出深度學(xué)習(xí)目前發(fā)展所面臨的問(wèn)題，以及對(duì)未來(lái)的展望。

2 深度學(xué)習(xí)

2.1 深度學(xué)習(xí)概述

深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)的研究，是機(jī)器學(xué)習(xí)的拓展。深度學(xué)習(xí)是經(jīng)過(guò)組合低層特征來(lái)形成更加抽象的屬性類別和特征，從中發(fā)現(xiàn)原始數(shù)據(jù)的特征表征[2]。現(xiàn)在用于動(dòng)作行為識(shí)別的技術(shù)是通過(guò)“動(dòng)作表征”+“動(dòng)作分類器”的框架來(lái)進(jìn)行行為識(shí)別的。其中“動(dòng)作表征”是人們手動(dòng)設(shè)計(jì)特征獲取到的，也就是在目前識(shí)別框架內(nèi)存在一個(gè)對(duì)動(dòng)作圖像（視頻）的預(yù)處理過(guò)程。

深度學(xué)習(xí)和淺層學(xué)習(xí)相對(duì)。目前許多學(xué)習(xí)算法是淺層網(wǎng)絡(luò)學(xué)習(xí)方法，具有一定的局限性，例如在樣本有限的狀況下，表示復(fù)雜函數(shù)的能力有限制，且對(duì)復(fù)雜分類問(wèn)題的泛化能力也會(huì)受到一定約束[3]。而深度學(xué)習(xí)通過(guò)學(xué)習(xí)深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，達(dá)到復(fù)雜函數(shù)逼近，又能在樣本少的情況下學(xué)習(xí)原始數(shù)據(jù)的特征。BP算法作為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的典型算法，雖然訓(xùn)練多層網(wǎng)絡(luò)，但僅含幾層網(wǎng)絡(luò)，訓(xùn)練方法很不理想[3]。因?yàn)槠漭斎牒洼敵鲩g非線性映射讓網(wǎng)絡(luò)誤差函數(shù)形成含多個(gè)極小點(diǎn)的非線性空間，因而經(jīng)常收斂到局部最小，且隨著網(wǎng)絡(luò)層數(shù)的增加，容易過(guò)擬合。而深度學(xué)習(xí)可以獲得分布式表示，通過(guò)逐層學(xué)習(xí)算法來(lái)得到原始輸入數(shù)據(jù)的主要變量。通過(guò)深度學(xué)習(xí)的非監(jiān)督訓(xùn)練完成，同時(shí)利用生成性訓(xùn)練避免因函數(shù)表達(dá)能力過(guò)強(qiáng)而出現(xiàn)過(guò)擬合情況。

2.2 深度學(xué)習(xí)原理

傳統(tǒng)機(jī)器學(xué)習(xí)僅含單層非線性變換的淺層網(wǎng)絡(luò)結(jié)構(gòu)，而且淺層模型單一。這對(duì)于深度網(wǎng)絡(luò)來(lái)說(shuō)易造成陷入最優(yōu)或產(chǎn)生梯度分散等問(wèn)題。因此，Hinton等人在基于深度置信網(wǎng)（DBNs）的情況下提出非監(jiān)督貪婪逐層訓(xùn)練算法，隨后提出了多層次自動(dòng)編碼器深層結(jié)構(gòu)，這給解決深層網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)了希望。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)多層次結(jié)構(gòu)的學(xué)習(xí)算法。同時(shí)深度學(xué)習(xí)還出現(xiàn)了許多結(jié)構(gòu)：多層感知機(jī)、去噪自動(dòng)編碼器、稀疏編碼等。

卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)真正采用多層次網(wǎng)絡(luò)結(jié)構(gòu)，具有魯棒性的深度學(xué)習(xí)算法，通過(guò)探究數(shù)據(jù)在空間上的相關(guān)性，減少訓(xùn)練參數(shù)的數(shù)量。而且卷積神經(jīng)網(wǎng)絡(luò)（CNN）適應(yīng)性強(qiáng)，善于發(fā)現(xiàn)數(shù)據(jù)的局部特征。它的權(quán)重共享結(jié)構(gòu)降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量，使得卷積神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中取得了很好的結(jié)果。

自動(dòng)編碼器的核心關(guān)鍵是將原始圖像（視頻）輸入信號(hào)進(jìn)行編碼，使用編碼后的信號(hào)來(lái)重建原始信號(hào)，使得兩者之間的重建誤差最小。通過(guò)將原始信號(hào)編碼成另一形式，能夠有效地提取信號(hào)中的主要信息，能夠簡(jiǎn)潔地表達(dá)原始圖像（視頻）的特征。

3 深度學(xué)習(xí)的應(yīng)用

3.1 語(yǔ)音識(shí)別

從2009年開始，微軟研究院語(yǔ)音識(shí)別專家通過(guò)與Hinton合作，首先將RBM和DBN引入到語(yǔ)音識(shí)別聲學(xué)模型訓(xùn)練中，使得語(yǔ)音識(shí)別的錯(cuò)誤率相對(duì)減低30%，這徹底改變了語(yǔ)音識(shí)別原有的技術(shù)框架。在國(guó)際上，IBM、google等公司都快速進(jìn)行了DNN語(yǔ)音識(shí)別的研究，并且速度飛快。國(guó)內(nèi)方面，阿里巴巴，科大訊飛、百度、中科院自動(dòng)化所等公司或研究單位，也在進(jìn)行深度學(xué)習(xí)在語(yǔ)音識(shí)別上的研究。

3.2 視頻中的動(dòng)作行為識(shí)別

準(zhǔn)確迅速識(shí)別視頻中人的動(dòng)作行為對(duì)于視頻搜索和視頻監(jiān)控具有劃時(shí)代的意義。最近幾年，深度學(xué)習(xí)技術(shù)被應(yīng)用于視頻動(dòng)作行為識(shí)別中。如Ji等人[4]提出多層網(wǎng)絡(luò)的3D卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)視頻中的時(shí)空特征，并通過(guò)卷積來(lái)實(shí)現(xiàn)對(duì)整個(gè)視頻特征的學(xué)習(xí)，從而代替之前的時(shí)空興趣點(diǎn)檢測(cè)和特征描述提取。在TRECVID數(shù)據(jù)庫(kù)上進(jìn)行的實(shí)驗(yàn)取得了不錯(cuò)效果。

4 結(jié)束語(yǔ)

文章對(duì)深度學(xué)習(xí)的主要概念進(jìn)行了全面闡述，包括其由來(lái)、原理、研究進(jìn)展和相應(yīng)的應(yīng)用等。在很多領(lǐng)域中，深度學(xué)習(xí)都表現(xiàn)了潛在的巨大價(jià)值，但深度學(xué)習(xí)作為淺層學(xué)習(xí)的延伸，仍處于發(fā)展階段，還有很多問(wèn)題值得我們深入探討：

（1）我們需要了解深度學(xué)習(xí)的樣本復(fù)雜度，需要多少訓(xùn)練樣本才能學(xué)習(xí)到足夠的深度模型。

（2）在推進(jìn)深度學(xué)習(xí)的學(xué)習(xí)理論和計(jì)算理論的同時(shí)，我們是否可以建立一個(gè)通用的深度學(xué)習(xí)網(wǎng)絡(luò)模型，作為統(tǒng)一的框架來(lái)處理語(yǔ)音、圖像和語(yǔ)言。

（3）神經(jīng)網(wǎng)絡(luò)具有前饋性連接和反饋性連接，可是我們研究的深度網(wǎng)絡(luò)中還沒(méi)有加入反饋連接，這些都給深度學(xué)習(xí)的研究帶來(lái)了嚴(yán)峻的挑戰(zhàn)。

參考文獻(xiàn)

[1]王亮，胡衛(wèi)明，譚鐵牛.人運(yùn)動(dòng)的視覺(jué)分析綜述[J].計(jì)算機(jī)學(xué)報(bào)，2002，25（3）：225-237.

[2]余凱，賈磊，陳雨強(qiáng).深度學(xué)習(xí)的昨天、今天和明天[J].計(jì)算機(jī)研究與發(fā)展，2013，50（9）：1799-1804.