前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇卷積神經(jīng)網(wǎng)絡(luò)的歷史范文，相信會為您的寫作帶來幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

卷積神經(jīng)網(wǎng)絡(luò)的歷史范文第1篇

過去10年，人們對機器學(xué)習(xí)的興趣激增。幾乎每天，你都可以在各種各樣的計算機科學(xué)課程、行業(yè)會議、華爾街日報等等看到有關(guān)機器學(xué)習(xí)的討論。在所有關(guān)于機器學(xué)習(xí)的討論中，許多人把機器學(xué)習(xí)能做的事情和他們希望機器學(xué)習(xí)做的事情混為一談。從根本上講，機器學(xué)習(xí)是使用算法從原始數(shù)據(jù)中提取信息，并在某種類型的模型中表示這些信息。我們使用這個模型來推斷還沒有建模的其他數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)是機器學(xué)習(xí)的一種模型，它們至少有50年歷史了。神經(jīng)網(wǎng)絡(luò)的基本單元是節(jié)點(node)，基本上是受哺乳動物大腦中的生物神經(jīng)元啟發(fā)。神經(jīng)元之間的連接也以生物的大腦為模型，這些連接隨著時間的推移而發(fā)展的方式是為“訓(xùn)練”。

在20世紀80年代中期和90年代初期，許多重要的架構(gòu)進步都是在神經(jīng)網(wǎng)絡(luò)進行的。然而，為了得到好的結(jié)果需要大量時間和數(shù)據(jù)，這阻礙了神經(jīng)網(wǎng)絡(luò)的采用，因而人們的興趣也減少了。在21世紀初，計算能力呈指數(shù)級增長，計算技術(shù)出現(xiàn)了“寒武紀大爆發(fā)”。在這個10年的爆炸式的計算增長中，深度學(xué)習(xí)成為這個領(lǐng)域的重要的競爭者，贏得了許多重要的機器學(xué)習(xí)競賽。直到2017年，這種興趣也還沒有冷卻下來；今天，我們看到一說機器學(xué)習(xí)，就不得不提深度學(xué)習(xí)。

作者本人也注冊了Udacity的“Deep Learning”課程，這門課很好地介紹了深度學(xué)習(xí)的動機，以及從TensorFlow的復(fù)雜和/或大規(guī)模的數(shù)據(jù)集中學(xué)習(xí)的智能系統(tǒng)的設(shè)計。在課程項目中，我使用并開發(fā)了用于圖像識別的卷積神經(jīng)網(wǎng)絡(luò)，用于自然語言處理的嵌入式神經(jīng)網(wǎng)絡(luò)，以及使用循環(huán)神經(jīng)網(wǎng)絡(luò)/長短期記憶的字符級文本生成。

本文中，作者總結(jié)了10個強大的深度學(xué)習(xí)方法，這是AI工程師可以應(yīng)用于他們的機器學(xué)習(xí)問題的。首先，下面這張圖直觀地說明了人工智能、機器學(xué)習(xí)和深度學(xué)習(xí)三者之間的關(guān)系。

人工智能的領(lǐng)域很廣泛，深度學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域的一個子集，機器學(xué)習(xí)又是人工智能的一個子領(lǐng)域。將深度學(xué)習(xí)網(wǎng)絡(luò)與“經(jīng)典的”前饋式多層網(wǎng)絡(luò)區(qū)分開來的因素如下:

比以前的網(wǎng)絡(luò)有更多的神經(jīng)元更復(fù)雜的連接層的方法用于訓(xùn)練網(wǎng)絡(luò)的計算機能力的“寒武紀大爆炸”自動特征提取

這里說的“更多的神經(jīng)元”時，是指神經(jīng)元的數(shù)量在逐年增加，以表達更復(fù)雜的模型。層(layers)也從多層網(wǎng)絡(luò)中的每一層都完全連接，到在卷積神經(jīng)網(wǎng)絡(luò)中層之間連接局部的神經(jīng)元，再到在循環(huán)神經(jīng)網(wǎng)絡(luò)中與同一神經(jīng)元的循環(huán)連接(recurrent connections)。

深度學(xué)習(xí)可以被定義為具有大量參數(shù)和層的神經(jīng)網(wǎng)絡(luò)，包括以下四種基本網(wǎng)絡(luò)結(jié)構(gòu)：

無監(jiān)督預(yù)訓(xùn)練網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)網(wǎng)絡(luò)

在本文中，主要介紹后三種架構(gòu)?；旧?，卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一個標準的神經(jīng)網(wǎng)絡(luò)，通過共享的權(quán)重在空間中擴展。CNN設(shè)計用于通過內(nèi)部的卷積來識別圖像，它可以看到圖像中待識別的物體的邊緣。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)被設(shè)計用于識別序列，例如語音信號或文本。它的內(nèi)部有循環(huán)，這意味著網(wǎng)絡(luò)上有短的記憶。遞歸神經(jīng)網(wǎng)絡(luò)更像是一個層級網(wǎng)絡(luò)，在這個網(wǎng)絡(luò)中，輸入必須以一種樹的方式進行分層處理。下面的10種方法可以應(yīng)用于所有這些架構(gòu)。

1.反向傳播

反向傳播(Back-prop)是一種計算函數(shù)偏導(dǎo)數(shù)(或梯度)的方法，具有函數(shù)構(gòu)成的形式(就像神經(jīng)網(wǎng)絡(luò)中)。當使用基于梯度的方法(梯度下降只是方法之一)解決優(yōu)化問題時，你需要在每次迭代中計算函數(shù)梯度。

對于神經(jīng)網(wǎng)絡(luò)，目標函數(shù)具有組合的形式。如何計算梯度呢？有兩種常用的方法：(i)解析微分(Analytic differentiation)。你已經(jīng)知道函數(shù)的形式，只需要用鏈式法則(基本微積分)來計算導(dǎo)數(shù)。(ii)利用有限差分進行近似微分。這種方法在計算上很昂貴，因為函數(shù)值的數(shù)量是O(N)，N指代參數(shù)的數(shù)量。不過，有限差分通常用于在調(diào)試時驗證back-prop實現(xiàn)。

2.隨機梯度下降法

一種直觀理解梯度下降的方法是想象一條河流從山頂流下的路徑。梯度下降的目標正是河流努力達到的目標——即，到達最底端(山腳)。

現(xiàn)在，如果山的地形是這樣的，在到達最終目的地之前，河流不會完全停下來(這是山腳的最低點，那么這就是我們想要的理想情況。)在機器學(xué)習(xí)中，相當從初始點(山頂)開始，我們找到了解決方案的全局最小(或最佳)解。然而，可能因為地形的性質(zhì)迫使河流的路徑出現(xiàn)幾個坑，這可能迫使河流陷入困境。在機器學(xué)習(xí)術(shù)語中，這些坑被稱為局部極小值，這是不可取的。有很多方法可以解決這個問題。

因此，梯度下降很容易被困在局部極小值，這取決于地形的性質(zhì)(用ML的術(shù)語來說是函數(shù)的性質(zhì))。但是，當你有一種特殊的地形時(形狀像一個碗，用ML的術(shù)語來說，叫做凸函數(shù))，算法總是保證能找到最優(yōu)解。凸函數(shù)對ML的優(yōu)化來說總是好事，取決于函數(shù)的初始值，你可能會以不同的路徑結(jié)束。同樣地，取決于河流的速度(即，梯度下降算法的學(xué)習(xí)速率或步長)，你可能以不同的方式到達最終目的地。這兩個標準都會影響到你是否陷入坑里(局部極小值)。

3.學(xué)習(xí)率衰減

根據(jù)隨機梯度下降的優(yōu)化過程調(diào)整學(xué)習(xí)率(learning rate)可以提高性能并減少訓(xùn)練時間。有時這被稱為學(xué)習(xí)率退火(learning rate annealing)或自適應(yīng)學(xué)習(xí)率(adaptive learning rates)。訓(xùn)練過程中最簡單，也是最常用的學(xué)習(xí)率適應(yīng)是隨著時間的推移而降低學(xué)習(xí)度。在訓(xùn)練過程開始時使用較大學(xué)習(xí)率具有進行大的改變的好處，然后降低學(xué)習(xí)率，使得后續(xù)對權(quán)重的訓(xùn)練更新更小。這具有早期快速學(xué)習(xí)好權(quán)重，后面進行微調(diào)的效果。

兩種常用且易于使用的學(xué)習(xí)率衰減方法如下：

逐步降低學(xué)習(xí)率。在特定的時間點較大地降低學(xué)習(xí)率。

4?. Dropout

具有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)是非常強大的機器學(xué)習(xí)系統(tǒng)。然而，過擬合在這樣的網(wǎng)絡(luò)中是一個嚴重的問題。大型網(wǎng)絡(luò)的使用也很緩慢，這使得在測試時將許多不同的大型神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)合起來變得困難。Dropout是解決這個問題的一種方法。

Dropout的關(guān)鍵想法是在訓(xùn)練過程中隨機地從神經(jīng)網(wǎng)絡(luò)中把一些units(以及它們的連接)從神經(jīng)網(wǎng)絡(luò)中刪除。這樣可以防止單元過度適應(yīng)。在訓(xùn)練過程中，從一個指數(shù)級的不同的“稀疏”網(wǎng)絡(luò)中刪除一些樣本。在測試時，通過簡單地使用一個具有較小權(quán)重的單一網(wǎng)絡(luò)，可以很容易地估計所有這些“變瘦”了的網(wǎng)絡(luò)的平均預(yù)測效果。這顯著減少了過擬合，相比其他正則化方法有了很大改進。研究表明，在視覺、語音識別、文檔分類和計算生物學(xué)等監(jiān)督學(xué)習(xí)任務(wù)中，神經(jīng)網(wǎng)絡(luò)的表現(xiàn)有所提高，在許多基準數(shù)據(jù)集上獲得了state-of-the-art的結(jié)果。

5. Max Pooling

最大池化(Max pooling)是一個基于樣本的離散化過程。目標是對輸入表示(圖像，隱藏層輸出矩陣等)進行下采樣，降低其維度，并允許對包含在分區(qū)域中的特征進行假設(shè)。

這在一定程度上是為了通過提供一種抽象的表示形式來幫助過擬合。同時，它通過減少學(xué)習(xí)的參數(shù)數(shù)量，并為內(nèi)部表示提供基本的平移不變性(translation invariance)，從而減少計算成本。最大池化是通過將一個最大過濾器應(yīng)用于通常不重疊的初始表示的子區(qū)域來完成的。

6.批量歸一化

當然，包括深度網(wǎng)絡(luò)在內(nèi)的神經(jīng)網(wǎng)絡(luò)需要仔細調(diào)整權(quán)重初始化和學(xué)習(xí)參數(shù)。而批量標準化有助于實現(xiàn)這一點。

權(quán)重問題：無論權(quán)重的初始化如何，是隨機的也好是經(jīng)驗性的選擇也罷，都距離學(xué)習(xí)到的權(quán)重很遙遠?？紤]一個小批量(mini batch)，在最初時，在所需的特征激活方面將會有許多異常值。

深度神經(jīng)網(wǎng)絡(luò)本身是有缺陷的，初始層中一個微小的擾動，就會導(dǎo)致后面層巨大的變化。在反向傳播過程中，這些現(xiàn)象會導(dǎo)致對梯度的分散，這意味著在學(xué)習(xí)權(quán)重以產(chǎn)生所需輸出之前，梯度必須補償異常值，而這將導(dǎo)致需要額外的時間才能收斂。

批量歸一化將梯度從分散規(guī)范化到正常值，并在小批量范圍內(nèi)向共同目標(通過歸一化)流動。

學(xué)習(xí)率問題：一般來說，學(xué)習(xí)率保持較低，只有一小部分的梯度校正權(quán)重，原因是異常激活的梯度不應(yīng)影響學(xué)習(xí)的激活。通過批量歸一化，減少異常激活，因此可以使用更高的學(xué)習(xí)率來加速學(xué)習(xí)過程。

7.長短時記憶

LSTM網(wǎng)絡(luò)在以下三個方面與RNN的神經(jīng)元不同：

能夠決定何時讓輸入進入神經(jīng)元；能夠決定何時記住上一個時間步中計算的內(nèi)容；能夠決定何時讓輸出傳遞到下一個時間步長。

LSTM的優(yōu)點在于它根據(jù)當前的輸入本身來決定所有這些。所以，你看下面的圖表：

當前時間標記處的輸入信號x(t)決定所有上述3點。輸入門從點1接收決策，遺忘門從點2接收決策，輸出門在點3接收決策，單獨的輸入能夠完成所有這三個決定。這受到我們的大腦如何工作的啟發(fā)，并且可以基于輸入來處理突然的上下文/場景切換。

8. Skip-gram

詞嵌入模型的目標是為每個詞匯項學(xué)習(xí)一個高維密集表示，其中嵌入向量之間的相似性顯示了相應(yīng)詞之間的語義或句法相似性。Skip-gram是學(xué)習(xí)單詞嵌入算法的模型。

Skip-gram模型(以及許多其他的詞語嵌入模型)的主要思想是：如果兩個詞匯項(vocabulary term)共享的上下文相似，那么這兩個詞匯項就相似。

換句話說，假設(shè)你有一個句子，比如“貓是哺乳動物”。如果你用“狗”去替換“貓”，這個句子仍然是一個有意義的句子。因此在這個例子中，“狗”和“貓”可以共享相同的上下文(即“是哺乳動物”)。

基于上述假設(shè)，你可以考慮一個上下文窗口(context window，一個包含k個連續(xù)項的窗口)，然后你跳過其中一個單詞，試著去學(xué)習(xí)一個能夠得到除跳過項外所有項的神經(jīng)網(wǎng)絡(luò)，并預(yù)測跳過的項是什么。如果兩個詞在一個大語料庫中反復(fù)共享相似的語境，則這些詞的嵌入向量將具有相近的向量。

9.連續(xù)詞袋(Continuous Bag Of Words)

在自然語言處理問題中，我們希望學(xué)習(xí)將文檔中的每個單詞表示為一個數(shù)字向量，使得出現(xiàn)在相似的上下文中的單詞具有彼此接近的向量。在連續(xù)的單詞模型中，我們的目標是能夠使用圍繞特定單詞的上下文并預(yù)測特定單詞。

我們通過在一個龐大的語料庫中抽取大量的句子來做到這一點，每當我們看到一個單詞時，我們就會提取它周圍的單詞。然后，我們將上下文單詞輸入到一個神經(jīng)網(wǎng)絡(luò)，并預(yù)測位于這個上下文中心的單詞。

當我們有成千上萬的這樣的上下文單詞和中心詞以后，我們就有了一個神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的實例。訓(xùn)練神經(jīng)網(wǎng)絡(luò)，最后編碼的隱藏層輸出表示特定單詞的嵌入。而當我們對大量的句子進行訓(xùn)練時也能發(fā)現(xiàn)，類似語境中的單詞得到的是相似的向量。

10.遷移學(xué)習(xí)

卷積神經(jīng)網(wǎng)絡(luò)的歷史范文第2篇

關(guān)鍵詞：化學(xué)計量學(xué) 分析化學(xué) 人工神經(jīng)網(wǎng)絡(luò)

化學(xué)計算學(xué)作為化學(xué)的分支學(xué)科，起步較晚，在涉及內(nèi)容上又比較廣闊，涉及到數(shù)學(xué)、統(tǒng)計學(xué)及計算機應(yīng)用技術(shù)等相關(guān)學(xué)科，可以說是一門交叉性的學(xué)科。正是因為科學(xué)技術(shù)的發(fā)展及多學(xué)科相互滲透的作用才誕生了化學(xué)計量學(xué)這門獨特的學(xué)科。涵蓋于化學(xué)測量的整個過程，采樣理論、實驗設(shè)計、選擇與優(yōu)化、變量處理及數(shù)據(jù)分析斗屬于化學(xué)計量學(xué)。化學(xué)計量學(xué)擔(dān)負的主要任務(wù)是進行化學(xué)測量數(shù)據(jù)的分析與處理，進行測量程序與實驗方法的最佳選擇，最早由瑞典化學(xué)家提出，一直沿用至今。正是因為化學(xué)計量學(xué)的巨大作用，解決了傳統(tǒng)化學(xué)研究中不能攻破的難題，成為化學(xué)研究的新方向與關(guān)注點。

一、化學(xué)計量學(xué)對于化學(xué)測量的應(yīng)用分析

在化學(xué)研究中，需要將化學(xué)計量學(xué)滲透于化學(xué)測量的全過程。在上世紀五十年代以來，新的化學(xué)儀器分析方法已經(jīng)被充分的引入到分析化學(xué)中，分析測試工作已經(jīng)逐步實現(xiàn)了儀器化、自動化與初步的計算機化，這些技術(shù)的深入應(yīng)用，為化學(xué)分析提供了可靠的測量數(shù)據(jù)，但是將這些分析儀器的優(yōu)點結(jié)合起來，將雜亂無章的數(shù)據(jù)信息進行重新排列組合，最大限度的解決信息的篩選，成為化學(xué)研究工作者當前面臨的最大難題。

化學(xué)計量學(xué)在解決這一問題中發(fā)揮了重大作用。將分析分離技術(shù)集于一體，通過特定的高維儀器產(chǎn)生分析信號，利用新型的分析信號多元校正及有效分辨方法進行復(fù)雜多組分的體系定性，進行定量解析。利用這種化學(xué)計量學(xué)的方法可以對巨大的數(shù)據(jù)信息進行有效的篩選，從而提取最有用的信息，對這些有用信息進行分析，實現(xiàn)了單純的“數(shù)據(jù)提供者”到“問題解決者”的角色轉(zhuǎn)變。化學(xué)計量法對于化學(xué)測量產(chǎn)生的影響是深遠且巨大的?；瘜W(xué)計量法應(yīng)該貫穿于化學(xué)測量的全過程。

二、當前化學(xué)計量學(xué)在分析化學(xué)中的應(yīng)用分析

（一）化學(xué)計量學(xué)在化學(xué)定量構(gòu)效關(guān)系中的應(yīng)用分析

化學(xué)定量構(gòu)效關(guān)系研究是化學(xué)學(xué)科的根本性研究問題，結(jié)合物質(zhì)的化學(xué)成分與基本的結(jié)構(gòu)進行化學(xué)性質(zhì)的測定，是我國目前化學(xué)理論研究中的重要目標。在進行研究時一般采用圖論與數(shù)值的方法進行各種化合物的表征，將所獲取的計算結(jié)果與實際的被測量化學(xué)物的物理、化學(xué)及生物特性結(jié)合起來，用比較明確的定量關(guān)系來代替含糊的定性描述。目前化學(xué)計量學(xué)在進行分析化學(xué)研究時引入了全局最優(yōu)算法，在利用誤差反向傳播的多層次感知模型進行苯酚衍生物的活性測驗時取得了明顯的研究效果，較之先前的研究方法，改進是十分明顯的。

（二）化學(xué)計量學(xué)中模式識別方法在分析化學(xué)中的應(yīng)用

化學(xué)計量學(xué)中的模式識別法是根據(jù)化學(xué)測量數(shù)據(jù)矩陣，對樣本集通過樣本性質(zhì)進行分類進行選取的方法。根據(jù)測量在多維模式空間中的相對位置不同，用線性判斷識別分析法、最鄰近法等進行模式的識別。模式識別法的研究能夠為決策及過程優(yōu)化提供最有實用價值的信息資料。我國石油化工行業(yè)、材料化學(xué)研究領(lǐng)域都基于該思想破解了很多研發(fā)難題。其中K―最鄰近法從伏安波匯總對重疊的伏安響應(yīng)信號進行區(qū)分，將K―最鄰近法用于電位階伏安波及毛細管曲線分類中，實現(xiàn)了對有機化合物構(gòu)效關(guān)系的有效表征。二SMCA法最廣泛的應(yīng)用就是食品的鑒定。

（三）化學(xué)計量學(xué)的人工神經(jīng)網(wǎng)絡(luò)應(yīng)用分析

除了我們上面提到的應(yīng)用，化學(xué)計量學(xué)在神經(jīng)網(wǎng)絡(luò)應(yīng)用方面也發(fā)揮了積極的作用。所謂的人工神經(jīng)網(wǎng)絡(luò)是基于現(xiàn)代生物學(xué)的對人腦組織進行研究而提出的，利用大量的簡單的處理單元進行充分連接，從而形成的巨大的復(fù)雜的網(wǎng)絡(luò)體系，主要是用來模擬人的大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)域的一定神經(jīng)行為。人工神經(jīng)網(wǎng)絡(luò)可以對數(shù)據(jù)模式進行合理的解析與分類，對于原因與結(jié)果關(guān)系不確定的非線性測量數(shù)據(jù)有著獨特的應(yīng)用。分析化學(xué)的不確定性很多，借助于化學(xué)計量學(xué)的人工神經(jīng)網(wǎng)絡(luò)得到了有效的應(yīng)用解決。從目前神經(jīng)網(wǎng)絡(luò)的應(yīng)用情況來看，在譜圖分析、藥物分子藥效的預(yù)測及蛋白質(zhì)結(jié)構(gòu)的預(yù)測方面都取得了不錯的成績。此外，在分析化學(xué)中應(yīng)用比較廣泛的還有遺傳算法，遺傳算法可以進行多組分分析波長選擇、數(shù)據(jù)校正優(yōu)化、核磁共振脈沖波形選擇等。人工神經(jīng)網(wǎng)絡(luò)還進一步促進了儀器聯(lián)機與實驗的自動化。在生產(chǎn)方面起到了重要的指導(dǎo)作用。

（四）化學(xué)計量法波普化學(xué)的應(yīng)用分析

目前在化學(xué)研究中，化學(xué)家們一直努力的目標主要是波普數(shù)據(jù)庫的有效利用。波普數(shù)據(jù)庫的質(zhì)譜、核磁共振譜、色譜等復(fù)雜分析體系的快速定性定量分析都是當前研究的重點。化學(xué)計量學(xué)為這方面的研究提供了新的突破口。各種濾波、平滑、交換、卷積技術(shù)的應(yīng)用，促進了分析化學(xué)的發(fā)展?？梢灾苯犹峁┎豢煞蛛x的直接地測定相互干擾的共存性物種，對于完全未知的混合物也可以實現(xiàn)準確的測定。

（五）化學(xué)計量法的多元校正分析應(yīng)用

我國化學(xué)的多元化分析成為今后化學(xué)研究的大趨勢，不僅在研究目標上體現(xiàn)出多元化，對于研究對象也呈現(xiàn)出多元化的特性。這對于化學(xué)研究工作者是不小的挑戰(zhàn)。要求化學(xué)工作者能夠快速、準確的定位與定量，從而得出分析結(jié)果。在這樣的背景下，多元校正法應(yīng)用而生，其產(chǎn)生為現(xiàn)代分析儀器提供了大量的測量數(shù)據(jù)，并對這些數(shù)據(jù)進行了解析，可以說多元校正法是新型的數(shù)學(xué)統(tǒng)計方法。多元校正法在多個方面進行了研究優(yōu)化，靈敏度、檢測度、精密度等都對指標進行了優(yōu)化，在對這些指標優(yōu)化后，大大擴展了分析儀器的功能與方法的有效及實用性。正是因為正交設(shè)計、均勻性設(shè)計分析、板因式設(shè)計分析等多種實驗設(shè)計優(yōu)化方法的相互協(xié)調(diào)，對分析選擇性進行了改善，在一定程度上拓寬了其化學(xué)計量法多元校正的應(yīng)用領(lǐng)域。

三、結(jié)束語：

化學(xué)計量學(xué)從產(chǎn)生到現(xiàn)在大約只有30多年的歷史，但是在短短的幾十年內(nèi)，其應(yīng)用不斷得到普及，其應(yīng)用效果不斷得到化學(xué)行業(yè)的肯定。將來，化學(xué)計量學(xué)將依然是令人關(guān)注的問題，有著廣闊而光明的前景?；瘜W(xué)計量學(xué)不斷發(fā)展，將對儀器的智能化分析提供新的研究理論與方法途徑，為高維聯(lián)用儀器的發(fā)展提供新的突破口與改進點。通過本文對化學(xué)計量學(xué)在分析化學(xué)中的應(yīng)用分析，我們在看到化學(xué)計量學(xué)優(yōu)勢作用的同時，更應(yīng)該看到其發(fā)展中的不足，針對這些不足進行研究分析，在進行多次驗證的基礎(chǔ)上尋找新的解決途徑，完善這些不足，為化學(xué)計量學(xué)的發(fā)展提供更加廣闊的發(fā)展空間。在分析化學(xué)發(fā)展領(lǐng)域，增強對化學(xué)計量學(xué)的引入是今后化學(xué)研究發(fā)展的一個大方向。

參考文獻

[1]黃丹.淺談化學(xué)計量學(xué)在分析化學(xué)中的應(yīng)用及發(fā)展前景[J].今日科苑.2009（08）.

[2]周統(tǒng)武，蔡娟.化學(xué)計量學(xué)的學(xué)科現(xiàn)狀與發(fā)展方向[J].中國科技信息，2009（03）.

[3]周南.關(guān)于“分析化學(xué)中的計量學(xué)與質(zhì)量保證”的國際研討會[J].理化檢驗（化學(xué)分冊），2007（03）.

卷積神經(jīng)網(wǎng)絡(luò)的歷史范文第3篇

在國內(nèi)，百度DuerOS 2.0，希望成為新標桿，阿里ET大腦又開啟新征程。

國外

谷歌：正式TensorFlow Lite可在移動設(shè)備上運行深度學(xué)習(xí)

今年5月，在GoogleI/O開發(fā)者大會上，Google宣布了一個專門針對移動設(shè)備優(yōu)化系統(tǒng)的TensorFlow新版本。11月，正式了TensorFlow Lite。

據(jù)了解，這款被稱為TensorFlow Lite的軟件庫，是可在移動設(shè)備上運行的深度學(xué)習(xí)工具，它允許開發(fā)人員在用戶的移動設(shè)備上實時運行人工智能應(yīng)用。此外，自TensorFlow Lite正式公布以來，已經(jīng)出現(xiàn)了多個安裝在移動設(shè)備上具有類似功能的學(xué)習(xí)軟件庫，包括蘋果的CoreML、Clarifai人工智能云端訓(xùn)練服務(wù)，以及華為Mate10使用的麒麟970人工智能處理器。

亞馬遜：AWS re:Invent 2017大會AWS云推出新品EKS

11月，在亞馬遜舉辦的AWS re:Invent 2017大會上，公司了22款新品，分別涉及計算能力、數(shù)據(jù)庫、機器學(xué)習(xí)、智能硬件和IOT等領(lǐng)域，尤其是在計算能力、數(shù)據(jù)庫方面對AWS云服務(wù)進行了升級。

其中，AWS云推出了新品EKS，是AWS云上托管的Kubernete容器服務(wù)，不僅兼容多云環(huán)境，還具備高可用性、自動部署，自主升級等優(yōu)勢，并可與AWS上其他服務(wù)集成，兩個平臺可無縫集成，在ECS中的應(yīng)用同樣可以使用AWS其它服務(wù)。

FB：Pytorch 0.3實現(xiàn)多方優(yōu)化增加對ONNX支持

今年初，F(xiàn)acebook在機器學(xué)習(xí)和科學(xué)計算工具Torch的基礎(chǔ)上，針對Python語言了一個全新的機器學(xué)習(xí)工具包PyTorch。日前，這款工具包又迎來了它的0.3.0版本，此版本增加了多個函數(shù)功能，多方面性能均有所提升。

其中，0.3版本中刪掉了Variable.reinforce()等隨機函數(shù)，用torch.distributions包來代替。新功能包括構(gòu)建了一個in-built Profiler，能對模型進行瓶頸分析，同時支持CPU和CUDA模型；增加Higher order gradients模塊；以及優(yōu)化器中增加了add_param_group函數(shù)，能在構(gòu)建好的優(yōu)化器中增加新的參數(shù)組。除此之外，還增加了新的張量函數(shù)和功能，在新版本中，能通過ONNX將模型遷移到其他框架上。

IBM：強化AI實力Deep Learning Impact軟件工具

11月，IBM公布了一款最新軟件Deep Learning Impact，其幫助用戶開發(fā)的AI模型可使用流行的開源、深度學(xué)習(xí)框架，例如TensorFlow和Caffee。12月，這款工具被添加到IBM的Spectrum Conductor軟件中。

除了軟件，IBM還推出了為AI量身定制的基于Power9處理器的新系統(tǒng)。據(jù)了解，該系統(tǒng)可以在Power9 CPU和硬件加速器(例如GPU和FPGA)之間加速傳輸數(shù)據(jù)。此外，Power9將成為首個片上支持最新高速連接器(包括Nvidia下一代NVLink、OpenCAPI 3.0和PCIe 4.0)的商用平臺。

國內(nèi)

百度：DuerOS 2.0搭載AI硬件渡鴉raven H樹立新標桿

在今年的百度世界大會上，主打下一代人機交互的DuerOS迎來一次重大升級，推出了2.0版本。據(jù)官方資料，DuerOS 2.0主要帶來了兩個變化：其一，是小度智能設(shè)備開放平臺的升級；其二，則是小度技能開放平臺的全新。至此，基于語音交互，DuerOS形成了兩個開放式平臺，可以對接設(shè)備開發(fā)商、生態(tài)合作伙伴、線上線下服務(wù)提供商。

此外，百度世界大會上同時了人工智能硬件產(chǎn)品渡鴉raven H，這款產(chǎn)品通過搭載DuerOS 2.0，在功能和用戶體驗上樹立了新的標桿。

騰訊：騰訊云正式Supermind用人工智能方式實現(xiàn)網(wǎng)絡(luò)規(guī)劃

11月，騰訊云正式SUPERMIND智能網(wǎng)絡(luò)產(chǎn)品。據(jù)介紹，相比此前網(wǎng)絡(luò)產(chǎn)品，SUPERMIND智能網(wǎng)絡(luò)將擁有高性能、全球互聯(lián)、智能化等三大特點。

據(jù)了解，用人工智能方式實現(xiàn)網(wǎng)絡(luò)規(guī)劃、建設(shè)以及運維的全流程，是騰訊云SUPERMIND網(wǎng)絡(luò)產(chǎn)品最大的亮點。騰訊云SUPERMIND智能網(wǎng)絡(luò)能夠結(jié)合幾萬條線路特征智能規(guī)劃，通過歷史用量分析、網(wǎng)絡(luò)路徑分析、用戶反饋分析、節(jié)點規(guī)劃建議、專線擴容建議等方面，合理規(guī)劃出網(wǎng)絡(luò)建設(shè)路線，大幅縮短規(guī)劃時間，節(jié)約時間成本。

阿里巴巴：ET大腦獲世界互聯(lián)網(wǎng)領(lǐng)先科技成果18強

自去年8月阿里巴巴推出ET大腦，一年多來已經(jīng)被用來解決和探索社會經(jīng)濟發(fā)展當中依靠人腦所無法解決的棘手問題。據(jù)阿里巴巴集團CEO張勇介紹:“整個ET大腦有非常多的人工智能技術(shù)，不僅僅是機器視覺、語音識別、自然語言處理等單個的AI技術(shù)，更重要的是這些技術(shù)有機整體的實現(xiàn)和全局的突破?！?/p>

在11月舉辦的第三屆世界互聯(lián)網(wǎng)大會上，15項世界互聯(lián)網(wǎng)領(lǐng)先科技成果同時，其中便包括ET大腦。獲獎原因包括AI、云計算、大數(shù)據(jù)能力與垂直領(lǐng)域知識深度結(jié)合，以及在應(yīng)方面，已廣泛應(yīng)用于城市治理、工業(yè)制造、社會安全等數(shù)十個垂直領(lǐng)域。

中國移動：移動網(wǎng)絡(luò)業(yè)界首個AI平臺“九天”

12月，中國移動面向業(yè)界首個AI平臺“九天”。

據(jù)了解，該平臺可以拆分出三個方面：第一方面，產(chǎn)品的應(yīng)用服務(wù)，包括運營、連接、服務(wù)三大領(lǐng)域，旗下分別包括智能營銷、智能決策、智能網(wǎng)絡(luò)、智能物聯(lián)以及智能客服等領(lǐng)域；第二方面，AI核心能力層可以將其處理的數(shù)據(jù)自主分為語音語言類型、圖像識別類型等；第三方面，“九天”的深度學(xué)習(xí)平臺是中國移動首款基于GPU的深度學(xué)習(xí)訓(xùn)練平臺。

中科視拓：推出深度學(xué)習(xí)服務(wù)平臺SeeTaaS將深度學(xué)習(xí)開發(fā)過程簡化

10月，中科視拓推出一站式企業(yè)級深度學(xué)習(xí)平臺SeeTaaS，主要用于研發(fā)人臉識別、手勢識別、無人機視覺、視頻結(jié)構(gòu)化分析等在內(nèi)的企業(yè)級解決方案。據(jù)了解，該平臺可以提供深度學(xué)習(xí)相關(guān)的數(shù)據(jù)、算法、算力等服務(wù)，同時將深度學(xué)習(xí)的開發(fā)過程簡化為：上傳數(shù)據(jù)、選擇算法、自動調(diào)參、輸出訓(xùn)練模型、模型批量測試、模型跨平臺部署等。

應(yīng)用方面，中科視拓已與中國平安、中國航天科技、中國電信、華為、百度、三星、高通等企業(yè)達成合作。

EasyStack：推出全球首個同時支持GPU和FPGA開源云平臺

在2017中國開源產(chǎn)業(yè)峰會暨第21屆中國國際軟件博覽會分論壇上，EasyStack正式推出全球首個同時支持GPU和FPGA異構(gòu)計算的人工智能開源云平臺ESCould AI。

卷積神經(jīng)網(wǎng)絡(luò)的歷史范文第4篇

關(guān)鍵詞：大學(xué)計算機基礎(chǔ)；教學(xué)改革；人工智能；智慧課堂

云計算、大數(shù)據(jù)、人工智能新興領(lǐng)域的崛起，推動信息技術(shù)全面滲透于人們的生產(chǎn)生活中。信息技術(shù)的核心在于計算機技術(shù)和通信技術(shù)。然而，雖然目前各個高校都開設(shè)了計算機基礎(chǔ)課程，但是其教學(xué)卻存在著諸多問題，導(dǎo)致該課程無法達到預(yù)期的教學(xué)效果。教育部在2012年《教育信息化十年發(fā)展規(guī)劃（2011-2020年）》，其中指明“以教育信息化帶動教育現(xiàn)代化，促進教育的創(chuàng)新與變革”[2]。因此，本文以華中師范大學(xué)計算機基礎(chǔ)課程教學(xué)為例，深入闡述了傳統(tǒng)計算機基礎(chǔ)課程教學(xué)的弊端，提出了在當前人工智能如火如荼的時代背景下，如何應(yīng)用人工智能相關(guān)技術(shù)對傳統(tǒng)的計算機基礎(chǔ)教學(xué)進行改革的具體方案。該方案以創(chuàng)建網(wǎng)絡(luò)智慧課堂教學(xué)模式改革為主體，輔以教學(xué)觀念、知識體系和課程考核方式改革，以期對高校的計算機基礎(chǔ)課程教學(xué)有所裨益。

1傳統(tǒng)教學(xué)的缺陷

⑴課程的教學(xué)地位沒有引起足夠的重視一些高校為計算機基礎(chǔ)課程分配較少的學(xué)時（少于48學(xué)時），甚至有的專業(yè)將此課程設(shè)置為選修課。這種設(shè)置降低了該課程在教師和學(xué)生心目中的位置，導(dǎo)致了對該課程的忽視。同時，不少老師因為學(xué)時不夠，時間緊迫，僅僅講述與考試相關(guān)的內(nèi)容，不考的一概不講。這導(dǎo)致學(xué)生的眼界受限，知識和能力受限，無法培養(yǎng)其全面綜合的計算機素質(zhì)。還有的專業(yè)沒有將這門課給專業(yè)的計算機學(xué)院的老師講授，而是隨意安排授課人員。沒有經(jīng)過系統(tǒng)專業(yè)訓(xùn)練的教師缺乏足夠的知識儲備，很難講好這一門看似簡單的課程。⑵課程教學(xué)內(nèi)容的制定與當今時代對于信息化人才的需求脫節(jié)一些高校的現(xiàn)狀是計算機基礎(chǔ)的課程教材知識陳舊[3]、質(zhì)量堪憂，教材總是無法跟上知識更新的步伐，例如都2019年了還在講Office2010。有的高校由于缺乏對課程的重視，沒有對教材優(yōu)中選優(yōu)，而是基于利益的考慮，優(yōu)先選擇自己院系編寫的教材。其教材內(nèi)容是七拼八湊，沒有整體性、邏輯性和連貫性，更不用說前瞻性。這樣的教材，無疑對學(xué)生的學(xué)習(xí)設(shè)置了巨大的屏障。除此以外，一些院校的課程教學(xué)知識體系不夠明確和完善，教學(xué)大綱的制定不夠科學(xué)。從教學(xué)大綱中制定的學(xué)時分配來說，常常偏重實用性[4]，常用計算機軟件操作占據(jù)了大部分的課時。這會讓教師在授課時輕理論而重操作，如此培養(yǎng)學(xué)生，非常不利于其計算思維的形成，對后續(xù)其他計算機相關(guān)課程的學(xué)習(xí)也是很大的傷害。⑶教學(xué)模式過于傳統(tǒng)，信息化水平較低從教學(xué)方式上來說，傳統(tǒng)的教學(xué)模式以教師課堂授課為中心，是以教師為主體的教學(xué)模式[5]。在這種模式下，教師仍然主要以填鴨式教學(xué)為主[6]，無法通過課堂教學(xué)發(fā)現(xiàn)學(xué)生的個性化特點，并進行有針對性的教學(xué)。另外，雖然計算機基礎(chǔ)課程一般都配備了實驗課時，但是實驗課常常是采用教師布置上機任務(wù)、學(xué)生做完抽樣檢查的模式。這對于大課堂來說，教師的任務(wù)繁重，無法搜集到每一個學(xué)生的任務(wù)完成情況，無法清晰地掌握學(xué)生學(xué)習(xí)的實際情況和薄弱環(huán)節(jié)。而且，該課程缺乏相應(yīng)的研討課時，很難讓學(xué)生對其所學(xué)知識進行深入思考和探究，以增強思辨能力和對課程的學(xué)習(xí)興趣。⑷課程考核方式不夠公平合理從考核方式上來說，該課程普遍采用“平時成績”+“期末考試”的加權(quán)方式對學(xué)生成績進行評定。平時成績多由考勤分所得，期末考試多采用機考模式。這種考核方式過于單一化、機械化，無法對學(xué)生進行全方位的評價。很多學(xué)生來到教室打考勤，但可能根本沒聽講，而是在睡覺或者玩手機。期末機考的公平合理性也是存在著很多的漏洞。例如機考的試題庫可以十年不變，分值的分配和難度的掌握都沒有經(jīng)過系統(tǒng)的考量。甚至有的考試系統(tǒng)不夠穩(wěn)定和安全，頻頻爆出Bug，嚴重影響了考試結(jié)果的真實性。

2新人工智能環(huán)境下對計算機基礎(chǔ)課程改革的具體方案

2012年開始，在隨著卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在視覺處理方面的應(yīng)用取得巨大的成功之后，人工智能到達了有史以來的第三個爆發(fā)期。目前，深度學(xué)習(xí)技術(shù)在AlphaGo、無人駕駛汽車、機器翻譯、智能助理、機器人、推薦系統(tǒng)等領(lǐng)域的發(fā)展如火如荼。與此同時，人工智能技術(shù)在教育領(lǐng)域方面的應(yīng)用已經(jīng)興起。人工智能的教學(xué)產(chǎn)品也已有先例，例如基于MOOC平臺研發(fā)的教學(xué)機器人MOOCBuddy等等?；谌斯ぶ悄艿慕逃侨诤显朴嬎?、物聯(lián)網(wǎng)、大數(shù)據(jù)、VR、區(qū)塊鏈等新興技術(shù)的增強型數(shù)字教育[2].在當前人工智能的大時代背景下，針對傳統(tǒng)計算機基礎(chǔ)的種種弊端，我們提出了如下教學(xué)改革方案。⑴改變教學(xué)理念，確立計算機基礎(chǔ)課程的重要地位計算機基礎(chǔ)作為高校的一門公共課，實則應(yīng)當作為各個專業(yè)的學(xué)生后續(xù)的學(xué)習(xí)、科研的必修之課程。因此，高等學(xué)校應(yīng)從源頭上確立該課程的重要地位，將該課程納入必修課范疇，并給與更充分合理的課時分配。除教學(xué)課時、實驗課時之外，需要為該課程增加一定的研討課時。任課老師必須是來自于計算機專業(yè)的人才。同時，定時舉辦關(guān)于該課程的教學(xué)培訓(xùn)、教學(xué)研討會和教學(xué)比賽，改變教師的教學(xué)理念，從源頭上給予該課程足夠的重視。⑵優(yōu)化教學(xué)內(nèi)容，重新制定課程的教學(xué)知識體系教材是教師教學(xué)的主要依據(jù)，也是學(xué)生獲得系統(tǒng)性知識的主要來源。因此，教材對于教學(xué)的重要性不言而喻。教材的選取需要優(yōu)中擇優(yōu)，必要的時候可以根據(jù)自身院校的情況自己編寫，力求使用好的教材使教學(xué)事半功倍。在選定優(yōu)質(zhì)教材的基礎(chǔ)上，制定更加合理的教學(xué)大綱，優(yōu)化計算機基礎(chǔ)課程的教學(xué)知識體系，突出計算機學(xué)科入門相關(guān)基礎(chǔ)理論知識的重要地位。對現(xiàn)有的過時內(nèi)容進行更新，例如操作系統(tǒng)以Windows10的操作取代Windows7，Office這部分使用Office2019版本取代2010的版本，同時增加關(guān)于算法入門知識、程序設(shè)計入門知識以及人工智能、區(qū)塊鏈等前沿知識單元的介紹。以華中師范大學(xué)為例，我們在圖1中給出了該校計算機基礎(chǔ)課程的教學(xué)知識體系結(jié)構(gòu)圖。⑶充分利用現(xiàn)代化的教學(xué)工具和人工智能技術(shù)，構(gòu)建智慧課堂，改變傳統(tǒng)教學(xué)模式現(xiàn)代化的教學(xué)應(yīng)當轉(zhuǎn)變以教師為核心的教學(xué)模式，更加突出學(xué)生的主體性地位。因此，在人工智能、物聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)和蓬勃發(fā)展的情形下，應(yīng)當改變傳統(tǒng)的課堂教學(xué)形式，充分利用現(xiàn)代化信息技術(shù)，將傳統(tǒng)課堂教學(xué)和網(wǎng)絡(luò)課堂教學(xué)模式相結(jié)合，構(gòu)建智慧課堂。融合課堂教學(xué)身臨其境的效果與網(wǎng)絡(luò)課堂自主性強且方便師生交流的特點，通過師生之間多層次、立體化的互動，達到提升教學(xué)效果的目的。同時，建立功能強大、完善的學(xué)生實驗平臺，基于不同專業(yè)學(xué)生的不同特點和不同需求，進行個性化的作業(yè)設(shè)置。針對教師布置的實驗任務(wù)和學(xué)生的完成情況，結(jié)合在線網(wǎng)絡(luò)教學(xué)系統(tǒng)，通過傳感器及網(wǎng)絡(luò)數(shù)據(jù)，搜集學(xué)生的學(xué)習(xí)行為數(shù)據(jù)，并且使用人工智能算法進行智能分析，使教師對當前的學(xué)生的學(xué)習(xí)情況一目了然，并能引導(dǎo)學(xué)生對重點、難點的鞏固和掌握。研討課以學(xué)生為主體，按照所選課題進行分組調(diào)研、分組討論，刺激學(xué)生的學(xué)習(xí)興趣，培養(yǎng)其思辨能力。研討內(nèi)容最終可以課程論文的形式上交至課程共享平臺，由教師和同學(xué)共同給出評分。這里，仍以華中師范大學(xué)為例，我們將在線教學(xué)系統(tǒng)、實驗課平臺、研討課共享平臺等集成為一個基于人工智能技術(shù)的網(wǎng)絡(luò)智慧教學(xué)綜合平臺系統(tǒng)。該系統(tǒng)主要包括用戶管理、在線教學(xué)、課堂互動、作業(yè)管理、考試管理、BBS系統(tǒng)、智能分析和平臺管理8個模塊，其主要功能如圖2所示。該系統(tǒng)采用C/S模式，系統(tǒng)的服務(wù)器選用Linux服務(wù)器，同時開發(fā)基于PC機的和手機端的客戶端系統(tǒng)，方便學(xué)生和教師隨時選用、更加靈活。在線教學(xué)模塊中的智能學(xué)習(xí)助理功能，能夠根據(jù)歷史用戶的學(xué)習(xí)行為和當前用戶的學(xué)習(xí)行為，自動地識別學(xué)習(xí)內(nèi)容中的難點以及當前學(xué)生的難點內(nèi)容，有針對性地對學(xué)生進行知識點強化。課堂互動模塊中，通過可穿戴式傳感器搜集學(xué)生的學(xué)習(xí)行為，用于后續(xù)智能分析模塊中對學(xué)生的學(xué)習(xí)態(tài)度和學(xué)習(xí)行為進行智能分析。在線作業(yè)評價模塊包括機器評價和教師評價兩個功能。機器評價是系統(tǒng)為學(xué)生作業(yè)（客觀題、主觀題）自動評分，其中主觀題的評分也是使用人工智能技術(shù)來實現(xiàn)。教師評分時可以參考機器評分，減少教師工作量。同時，教師評分為機器評分提供機器學(xué)習(xí)的經(jīng)驗數(shù)據(jù)，促進機器評分更加智能。智能分析模塊能夠依據(jù)學(xué)生的在線課程學(xué)習(xí)模塊、課堂學(xué)習(xí)模塊、作業(yè)管理模塊等搜集到的學(xué)習(xí)行為數(shù)據(jù)進行綜合分析，促使教師深入了解學(xué)生的學(xué)習(xí)情況和個性化特點，提升教學(xué)的針對性，并且有助于后續(xù)對學(xué)生進行全面、綜合的分析和成績評定。所有系統(tǒng)模塊中使用到的智能分析技術(shù)包括基本的統(tǒng)計分析、以及各類機器學(xué)習(xí)算法（k-means,NaveBayes,SupportVectorMachine,DeepLearning等等）。⑷改變傳統(tǒng)成績考核的方式在“教學(xué)”+“實驗”+“研討課”課程結(jié)構(gòu)以及網(wǎng)絡(luò)智慧教學(xué)綜合平臺的輔助之下，學(xué)生的成績評定更加全面化、多元化、公平化、自動化[7]。平時成績中，除了教學(xué)綜合平臺的“課堂簽到”次數(shù)之外，還增加更多豐富多元化的考察信息，如：學(xué)生的課堂討論、在線課程學(xué)習(xí)和考核結(jié)果、平時作業(yè)完成情況，以及智能分析模塊中輔助分析的學(xué)習(xí)態(tài)度、學(xué)習(xí)能力、平時成績預(yù)測。期末上機考試系統(tǒng)也是智慧課堂綜合平臺的一個子模塊，是精心設(shè)計的穩(wěn)定、安全、功能強大的子系統(tǒng)，方便教師每一年更新試題庫，修改bug。試題庫中的每一套試卷都應(yīng)當經(jīng)過科學(xué)的考卷質(zhì)量分析，使其難度、覆蓋范圍在一個均衡、合理的范圍。最后，教師通過對各類平時成績指標以及期末考試成績加權(quán)，給出最終的學(xué)習(xí)成績。通過規(guī)范、合理、公平、全面的考核體系，獲得對學(xué)生公平、完善的評價機制，激勵學(xué)生并刺激教學(xué)良性運轉(zhuǎn)。

3結(jié)束語