前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇大數(shù)據(jù)在云計算中的應(yīng)用范文，相信會為您的寫作帶來幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

大數(shù)據(jù)在云計算中的應(yīng)用范文第1篇

關(guān)鍵詞：大數(shù)據(jù)技術(shù)；計算機(jī)；信息安全

隨著計算機(jī)信息技術(shù)的迅速發(fā)展，大數(shù)據(jù)技術(shù)在計算機(jī)信息安全提供了有利的條件。大數(shù)據(jù)技術(shù)對計算機(jī)信息安全的數(shù)據(jù)進(jìn)行快速的收集和分析，云計算技術(shù)對數(shù)據(jù)進(jìn)行加工處理。為計算機(jī)信息安全提供的可靠的基礎(chǔ)。同時，大數(shù)據(jù)技術(shù)在數(shù)據(jù)分析的有效性有待進(jìn)一步的提高，這也是我們要攻克的難點。

1大數(shù)據(jù)技術(shù)在計算機(jī)信息安全中的應(yīng)用現(xiàn)狀

1.1大數(shù)據(jù)技術(shù)概述

大數(shù)據(jù)技術(shù)是一種現(xiàn)代化技術(shù)，核心技術(shù)由大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲、大數(shù)據(jù)分析組成。具體處理的過程如圖1所示：先進(jìn)行數(shù)據(jù)采集，再對采集到的原始數(shù)據(jù)所進(jìn)行如圖2的數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)規(guī)約操作后，后進(jìn)行存儲和數(shù)據(jù)分析。得到高質(zhì)量的數(shù)據(jù)。隨著大數(shù)據(jù)技術(shù)的發(fā)展，在計算機(jī)信息安全中應(yīng)用更為突出。除此之外，必須要注意的是，大數(shù)據(jù)技術(shù)對于海量的數(shù)據(jù)在數(shù)據(jù)分析時也存在一定的困難。這也是本文研究的方向。

1.2大數(shù)據(jù)環(huán)境下面臨的計算機(jī)信息安全問題

大數(shù)據(jù)技術(shù)已經(jīng)深入各行各業(yè)，加上計算機(jī)信息的開發(fā)性，對計算機(jī)信息安全帶來了問題。在大數(shù)據(jù)技術(shù)的應(yīng)用過程中，沒有和各行各業(yè)的需求相融合。導(dǎo)致大數(shù)據(jù)技術(shù)給計算機(jī)信息安全帶來的效果不理想。所以實際使用期間，必須要深入理解用戶需求[1]。實施大數(shù)據(jù)技術(shù)的過程中，計算機(jī)信息存儲、信息的安全管理部到位，還有黑客的攻擊、病毒的侵入，使得計算機(jī)信息在傳輸?shù)倪^程或存儲過程中的信息被竊取，直接威脅計算機(jī)信息安全。

1.3大數(shù)據(jù)技術(shù)在計算機(jī)信息安全中的應(yīng)用現(xiàn)狀

目前，關(guān)于大數(shù)據(jù)技術(shù)在計算機(jī)信息安全中的應(yīng)用的研究比較多，并給出了相應(yīng)的保障計算機(jī)信息安全的方法和技術(shù)。在企業(yè)應(yīng)用領(lǐng)域，奇虎公司取得了業(yè)內(nèi)矚目的成果，其提出的“云+終端+邊界”安全模型囊括了360的系列計算機(jī)產(chǎn)品，也大有擴(kuò)張之勢頭，對于提高計算機(jī)信息安全保障質(zhì)量具有一定的指向意義。

2大數(shù)據(jù)技術(shù)在計算機(jī)信息安全中的關(guān)鍵技術(shù)

2.1云計算技術(shù)

在大數(shù)據(jù)技術(shù)、云計算技術(shù)的快速發(fā)展，大數(shù)據(jù)技術(shù)處理的海量數(shù)據(jù)的信息安全方面，云計算技術(shù)為大數(shù)據(jù)技術(shù)提供了強大的技術(shù)支持。云計算技術(shù)通常會采用分布式存儲技術(shù)，將數(shù)據(jù)存儲在不同的物理設(shè)備中。這種模式不僅擺脫了硬件設(shè)備的限制，同時擴(kuò)展性更好，能夠快速響應(yīng)用戶需求的變化。從而保證數(shù)據(jù)的高可靠性和安全性[2]。

2.2加密技術(shù)

計算機(jī)信息化的快速發(fā)展，對于海量數(shù)據(jù)的處理必須滿足信息計算機(jī)信息的安全，必須對海量的進(jìn)行數(shù)據(jù)加密處理。在計算機(jī)信息的傳輸、保存期間定期檢測數(shù)據(jù)，確保數(shù)據(jù)的安全性。同時在實踐操作中應(yīng)用數(shù)據(jù)加密安全技術(shù)[3]，杜絕計算機(jī)信息安全問題。

2.3數(shù)據(jù)備份技術(shù)

信息化的快速發(fā)展，給人們的生活提供了方便，但對計算機(jī)信息安全帶來風(fēng)險。在大數(shù)據(jù)技術(shù)中，數(shù)據(jù)的備份技術(shù)起到了很大的作用。通過數(shù)據(jù)備份技術(shù)為計算機(jī)信息安全提供足夠的空間。目前在數(shù)據(jù)備份技術(shù)中，采用的存儲介質(zhì)為百度硬盤、移動硬盤、U盤、光盤這四種。各個企事業(yè)單位根據(jù)本單位的需求，選擇相應(yīng)的存儲介質(zhì)。同時要做到以便在發(fā)生突發(fā)狀況時，比如斷電、斷網(wǎng)等，快速啟動數(shù)據(jù)備份系統(tǒng)，防止數(shù)據(jù)丟失。

3大數(shù)據(jù)技術(shù)在計算機(jī)信息安全中的應(yīng)用

3.1大數(shù)據(jù)采集技術(shù)

大數(shù)據(jù)采集技術(shù)在數(shù)據(jù)采集過程中，要考慮數(shù)據(jù)的安全問題，給予不同用戶有身份驗證。同時采取數(shù)據(jù)信息加密技術(shù)，利用數(shù)據(jù)傳輸過程的保真特點實現(xiàn)驗證碼和附加碼的認(rèn)證過程，從而加強對數(shù)據(jù)信息的完整性保護(hù)，繼而更好地滿足計算機(jī)網(wǎng)絡(luò)安全防范的實際需求[4]。

3.2大數(shù)據(jù)存儲技術(shù)

計算機(jī)信息的存儲及傳輸要對信息進(jìn)行保密和安全處理。大數(shù)據(jù)存儲技術(shù)為海量數(shù)據(jù)的存儲的安全性提供了保證。同時在計算機(jī)信息在信息的傳輸過程中，對計算機(jī)信息的數(shù)據(jù)進(jìn)行加密保護(hù)。大數(shù)據(jù)存儲和傳統(tǒng)的數(shù)據(jù)存儲的不相同，大數(shù)據(jù)技術(shù)應(yīng)用表現(xiàn)形式是實時性。數(shù)據(jù)以每年增長50%的速度快速增長，特別是非結(jié)構(gòu)化數(shù)據(jù)的增長。隨著信息時代的進(jìn)步，有越來越多的傳感器采集數(shù)據(jù)、移動設(shè)備、社交多媒體等等，所以數(shù)據(jù)只能繼續(xù)大幅增長?？偠灾髷?shù)據(jù)儲存技術(shù)需要非常高性能、高吞吐率、大容量的基礎(chǔ)設(shè)備。

3.3大數(shù)據(jù)技術(shù)、云計算技術(shù)

大數(shù)據(jù)技術(shù)和云計算技術(shù)在計算機(jī)信息安全中的應(yīng)用是密不可分。大數(shù)據(jù)技術(shù)對計算信息安全的處理采用分布式結(jié)構(gòu)處理。通過云計算技術(shù)的分布式處理、分布式數(shù)據(jù)庫、云存儲、虛擬化技術(shù)對海量數(shù)據(jù)的處理、存儲。給計算機(jī)信息安全提供支持無論你采取何種數(shù)據(jù)分析模型，還是運算方式，它都是通過將海量的服務(wù)器資源通過網(wǎng)絡(luò)進(jìn)行整合，以整理出有效的數(shù)據(jù)信息，并將其分配給各個相對應(yīng)的客戶，來處理因存儲資源不足給用戶帶來的問題。大數(shù)據(jù)技術(shù)是海量數(shù)據(jù)爆發(fā)式增長所帶來的一個全新的研究領(lǐng)域，對于大數(shù)據(jù)的研究，主要集中在如何對其進(jìn)行存儲和有效的分析，大數(shù)據(jù)是依靠云計算技術(shù)來進(jìn)行存儲和計算的。通過大數(shù)據(jù)技術(shù)和云計算技術(shù)的配合使用，給計算機(jī)信息安全帶來便利。

4大數(shù)據(jù)技術(shù)在計算機(jī)信息安全中的應(yīng)用展望

4.1建立安全服務(wù)后臺

建立安全服務(wù)后臺的，將通過對計算機(jī)信息進(jìn)行認(rèn)證、授權(quán)、監(jiān)控、分析、預(yù)警及響應(yīng)等服務(wù)管理，實時提供信息服務(wù)。大數(shù)據(jù)技術(shù)的應(yīng)用，有效解決了海量數(shù)據(jù)的處理，為計算機(jī)信息安全提供了保證。

4.2大數(shù)據(jù)技術(shù)的安全智能化發(fā)展

為了預(yù)防計算機(jī)病毒的入侵和黑客的攻擊，必須建立計算機(jī)智能化發(fā)展。有效預(yù)防和解決這些問題，在計算機(jī)信息安全維護(hù)中，對于計算機(jī)信息安全的智能化判定快速的提升，是值得大數(shù)據(jù)技術(shù)、云計算技術(shù)參考學(xué)習(xí)。

大數(shù)據(jù)在云計算中的應(yīng)用范文第2篇

關(guān)鍵詞：大數(shù)據(jù)；應(yīng)用感知；云計算；軟件定義網(wǎng)絡(luò)；云存儲

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2017）07-00-06

0 引 言

大數(shù)據(jù)（Big Data）[1]可被定義為具有4V特征的數(shù)據(jù)，即數(shù)據(jù)量及規(guī)模巨大且持續(xù)增長（Volume，一般指數(shù)據(jù)量達(dá)到PB以上級別）；多源/多樣/多結(jié)構(gòu)性，不同的數(shù)據(jù)源、數(shù)據(jù)類型（Variety，復(fù)雜文檔及多媒體，結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)）；高速性，由于存在用戶數(shù)量龐大與實時性等因素，數(shù)據(jù)的生成、增長速率快，數(shù)據(jù)處理、分析的速度要求也高（Velocity）；有價值性/精確性，數(shù)據(jù)量龐大，雖然價值密度低或個別數(shù)據(jù)無價值，但數(shù)據(jù)總體上是有價值的（Value/Veracity）。

大數(shù)據(jù)環(huán)境已成熟，云計算中的大數(shù)據(jù)分析/處理，大數(shù)據(jù)處理與網(wǎng)絡(luò)/硬件的協(xié)同工作，大數(shù)據(jù)的私有性及云平臺的能耗等方面對網(wǎng)絡(luò)及其資源調(diào)度的需求，使得大數(shù)據(jù)應(yīng)用與物理網(wǎng)絡(luò)之間的交互尤顯重要，一方面讓網(wǎng)絡(luò)呈現(xiàn)出“應(yīng)用感知網(wǎng)絡(luò)（Application Aware）”的特性，使之更好地服務(wù)于大數(shù)據(jù)應(yīng)用；另一方面，如何讓大數(shù)據(jù)應(yīng)用/用戶方便高效地訪問、調(diào)度網(wǎng)絡(luò)資源，減輕大數(shù)據(jù)應(yīng)用在網(wǎng)絡(luò)訪問決策上的負(fù)擔(dān)是當(dāng)前大數(shù)據(jù)應(yīng)用研究中的熱點問題。

1 云計算環(huán)境下的虛擬化

云計算[2]作為下一代計算模式，具有超大規(guī)模、高可擴(kuò)展性、高可靠性、虛擬化、按需服務(wù)和價格低廉等特點，通過調(diào)用網(wǎng)絡(luò)中大量計算節(jié)點/服務(wù)器完成核心計算業(yè)務(wù)的任務(wù)，向用戶提供多層次的服務(wù)如基礎(chǔ)設(shè)施、平臺、存儲服務(wù)和軟件服務(wù)等。在大數(shù)據(jù)應(yīng)用中，云計算的核心功能主要有數(shù)據(jù)存儲/管理（以數(shù)據(jù)存儲為主的存儲型云平臺）和數(shù)據(jù)分析/處理（以數(shù)據(jù)處理為主的計算型云平臺）。云計算提供商將大量計算節(jié)點與網(wǎng)絡(luò)設(shè)備連在一起，構(gòu)建一個或若干個大規(guī)模（由具有萬甚至百萬級以上的計算節(jié)點所組成）數(shù)據(jù)中心，通過云平臺實時訪問、調(diào)用網(wǎng)絡(luò)、存儲、計算等資源為用戶服務(wù)。

云計算核心組成邏輯如圖1所示。云計算主要由服務(wù)器、存儲和網(wǎng)絡(luò)組成。為了使得云能夠更快、更方便地響應(yīng)企業(yè)用戶的需求，服務(wù)器（層）和存儲（層）已經(jīng)通過在實際基礎(chǔ)設(shè)施和云環(huán)境之間構(gòu)建抽象層實現(xiàn)虛擬化，滿足配置、管理和使用服務(wù)器及存儲資源的要求。但最終還需要依靠網(wǎng)絡(luò)將資源連接集成以搭建一個完整的云環(huán)境?！按髷?shù)據(jù)應(yīng)用環(huán)境下與網(wǎng)絡(luò)的交互”以及“網(wǎng)絡(luò)與計算資源的交互”面臨以下三方面的要求：

（1）大數(shù)據(jù)應(yīng)用層與網(wǎng)絡(luò)的交互：網(wǎng)絡(luò)結(jié)構(gòu)相對穩(wěn)定，但由于云環(huán)境的高擴(kuò)展性以及節(jié)點規(guī)模的龐大，使得服務(wù)器和存儲這兩方面的資源會時常發(fā)生變化，如服務(wù)器/節(jié)點的添加――斷電、故障、恢復(fù)、新增節(jié)點等或存儲磁盤的故障、失效等。面對這些變化，上層大數(shù)據(jù)應(yīng)用如何能更好、更快地獲取計算資源的變化？

圖1 云計算核心組成邏輯圖

（2）計算資源與網(wǎng)絡(luò)的交互：在大數(shù)據(jù)處理中，各計算資源的狀態(tài)與承擔(dān)的任務(wù)及負(fù)荷各不相同，為合理使用計算資源并計算資源負(fù)載平衡，網(wǎng)絡(luò)如何能更快更方便地告知上層大數(shù)據(jù)應(yīng)用其所獲得的感知信息，并讓應(yīng)用或用戶調(diào)整其調(diào)用計算資源的策略？

（3）計算資源按上層大數(shù)據(jù)應(yīng)用的需求動態(tài)調(diào)整：上層應(yīng)用復(fù)雜多變，面對應(yīng)用/服務(wù)的變化，其所需的計算資源也不同，如何更快地調(diào)整、組織計算資源讓其適應(yīng)并為上層應(yīng)用提供服務(wù)？

為滿足上述需求，添加兩個具有擴(kuò)展性的接口層形成大數(shù)據(jù)應(yīng)用與計算資源（服務(wù)器/存儲）的中間層，這兩個接口層如下：

（1）大數(shù)據(jù)應(yīng)用層與網(wǎng)絡(luò)層之間的交互接口層；

（2）網(wǎng)絡(luò)層與計算資源層（服務(wù)器/存儲）之間的交互接口層。

2 開放式協(xié)同平臺的中介――SDN

2011年10月，美國麻省理工大學(xué)Kate Greene教授提出了SDN （Software-Defined Networking，SDN）軟件定義網(wǎng)絡(luò)技術(shù)的概念[3]。所謂SDN，是指根據(jù)不同的使用需要，通過軟件來完成所有路由器與交換機(jī)的動態(tài)配置。并于2011年3月成立了以實現(xiàn)該概念為目的的網(wǎng)絡(luò)聯(lián)盟Open Network Foundation （ONF），提倡使用OpenFlow作為實現(xiàn)SDN的重要技術(shù)。

OpenFlow網(wǎng)絡(luò)的最大特點是將傳統(tǒng)的交換機(jī)路由控制部分與數(shù)據(jù)傳送部分分離，使得網(wǎng)絡(luò)設(shè)備可以專注于數(shù)據(jù)包轉(zhuǎn)發(fā)，從而極大地簡化了交換機(jī)的體系。OpenFlow網(wǎng)絡(luò)的主要構(gòu)成元素包括支持OpenFlow協(xié)議的交換機(jī)（OpenFlow Switch），交換機(jī)控制器（OpenFlow Controller）以及用于交換機(jī)與控制器之間的控制協(xié)議（OpenFlow Protocol），其體系結(jié)構(gòu)如圖2所示。

OpenFlowW絡(luò)可以處理包含在數(shù)據(jù)包中的各種信息，如MAC地址，IP地址，VLANID，MPLS標(biāo)識，TCP端口等共15類，將這些信息與數(shù)據(jù)包的處理方法相結(jié)合，用于設(shè)計OpenFlow交換機(jī)的Flow Table。Flow Table即數(shù)據(jù)包的處理規(guī)則與處理方法對照表，如對含有特定VLANID信息的數(shù)據(jù)包執(zhí)行數(shù)據(jù)包轉(zhuǎn)發(fā)、丟棄或多播等操作。

網(wǎng)絡(luò)管理人員通過對Flow Table進(jìn)行詳細(xì)設(shè)計便可輕松實現(xiàn)對數(shù)據(jù)包交換路徑的精準(zhǔn)控制。隨著云計算應(yīng)用的不斷增多，頻繁的網(wǎng)絡(luò)重新配置不可避免。VLAN組網(wǎng)技術(shù)支持網(wǎng)絡(luò)管理員動態(tài)對網(wǎng)絡(luò)進(jìn)行配置，是目前HDFS云存儲的主要組網(wǎng)技術(shù)。但VLAN組網(wǎng)技術(shù)面臨以下問題：

（1）當(dāng)子網(wǎng)數(shù)量不斷增加時，采用VLAN對網(wǎng)絡(luò)進(jìn)行管理將會使情況變得很復(fù)雜；

（2）只能利用VLANID進(jìn)行組網(wǎng)，組網(wǎng)的靈活性不高，無法適應(yīng)來自云計算的不同需求。

（3）除電信運營商級的VLAN技術(shù)外，數(shù)據(jù)中心級VLAN技術(shù)幾乎不能實現(xiàn)異地云存儲服務(wù)器之間的連接。異地云存儲系統(tǒng)互連的重要性在于通過將數(shù)據(jù)備份在不同的物理地點來消除單一故障（電力中斷，火災(zāi)等）引起的服務(wù)中斷，這正是ONF聯(lián)盟將OpenFlow列為云計算網(wǎng)絡(luò)控制技術(shù)之一的主要原因。

圖2 OpenFlow體系架構(gòu)

3 存在問題及分析

3.1 從大數(shù)據(jù)處理的角度分析

在大數(shù)據(jù)應(yīng)用的環(huán)境下，大數(shù)據(jù)分析/處理的計算框架以MapReduce編程模型最具代表性。MapReduce計算模型在執(zhí)行中，首先對數(shù)據(jù)源進(jìn)行分塊，然后交給不同Map任務(wù)區(qū)來處理，執(zhí)行Map函數(shù)，根據(jù)數(shù)據(jù)處理的規(guī)則對數(shù)據(jù)分類，并寫入本地磁盤；Map階段完成后，進(jìn)入Reduce階段，執(zhí)行Reduce函數(shù)，具有同樣Key值的中間結(jié)果從多個Map任務(wù)所在的節(jié)點被收集到一起（稱為Shuffle）進(jìn)行合并處理（稱為Merge），輸出結(jié)果寫入本地磁盤。最終通過合并所有Reduce任務(wù)得到最終結(jié)果。

以MapReduce計算模型為基本核心原理，相似的計算模型有如下幾種：

Hadoop[4]：核心由HDFS和MapReduce組成，其中Hadoop-MapReduce是Google MapReduce的開源實現(xiàn)。

Dryad[5]：與MapReduce計算模型相似，其總體構(gòu)建用來支持有向無環(huán)圖（Directed Acycline Graph，DAG）類型數(shù)據(jù)流的并行程序。Dryad的整體框架根據(jù)程序的要求完成調(diào)度工作，自動完成任務(wù)在各節(jié)點上的運行。

Hadoop++[6]：Hadoop++是通過自定義Hadoop框架中的split等函數(shù)來提升數(shù)據(jù)查詢和聯(lián)接性能，即通過Hadoop用戶自定義函數(shù)方式對Hadoop-MapReduce實現(xiàn)非入侵式優(yōu)化。

CoHadoop[7]：Hadoop無法突破把相關(guān)數(shù)據(jù)定位到同一個node集合下的性能瓶頸。CoHadoop是對Hadoop的一個輕量級擴(kuò)展，目的是允許應(yīng)用層控制數(shù)據(jù)的存儲。應(yīng)用層通過某種方式提示CoHadoop某些集合里的文件相關(guān)性較大，可能需要合并，之后CoHadoop嘗試轉(zhuǎn)移這些文件以提高數(shù)據(jù)讀取效率。MapReduce計算過程示意如圖3所示。

圖3 MapReduce計算過程示意圖

Haloop[8]：Haloop是一個Hadoop-MapReduce框架的修改版本，其目標(biāo)是為了高效支持迭代，遞歸數(shù)據(jù)分析任務(wù)。遞歸的連接可能在Map端，也可能在Reduce端。Haloop的基本思想是緩存循環(huán)不變量（即靜態(tài)變量）到salve nodes。每次迭代重用這些數(shù)據(jù)。

HadoopDB[9]：HadoopDB是一混合系統(tǒng)。其基本思想是采用現(xiàn)有的MapReduce作為與正在運行著單節(jié)點DBMS實例的多樣化節(jié)點的通信層，實現(xiàn)并行化數(shù)據(jù)庫。查詢語言采用SQL表示，并使用現(xiàn)有工具將其翻譯成MapReduce可以接受的語言，使得盡可能多的任務(wù)被推送到每個高性能的單節(jié)點數(shù)據(jù)庫。

G-Hadoop[10]：通過現(xiàn)有的MapReduce計算模型配合高速的存儲區(qū)域網(wǎng)（Storage Area Network，SAN）實現(xiàn)在多群聚環(huán)境，為大數(shù)據(jù)應(yīng)用提供一個并行處理的環(huán)境。

P2P-MapReduce[11]：是一個動態(tài)分布式環(huán)境中自適應(yīng)的MapReduce框架（2P-MapReduce），利用P2P模式在動態(tài)分布式環(huán)境中管理計算節(jié)點的參與、主機(jī)失敗和作業(yè)恢復(fù)等，為大數(shù)據(jù)應(yīng)用提供服務(wù)。

Spark[12]：Spark是一個與Hadoop相似的開源云計算系統(tǒng)，支持分布式數(shù)據(jù)集上的迭代作業(yè)，是對Hadoop的補充，用于快速數(shù)據(jù)分析，包括快速運行和快速寫操作。Spark啟用內(nèi)存分布數(shù)據(jù)集，除能夠提供交互式查詢外，還可優(yōu)化迭代工作負(fù)載。

Hyracks[13]：一個受MapReduce啟發(fā)，基于分區(qū)并行數(shù)據(jù)流的大數(shù)據(jù)并行處理系統(tǒng)，用戶可將計算表示成數(shù)據(jù)操作器和連接器的有向無環(huán)圖（Directed Acycline Graph，DAG）類型數(shù)據(jù)流。

大數(shù)據(jù)處理框架的設(shè)計思想見表1所列。

（1）MapReduce計算執(zhí)行過程中的Shuffle階段――執(zhí)行完Map階段后會產(chǎn)生大量中間結(jié)果數(shù)據(jù)，該階段根據(jù)中間輸出結(jié)果中的Key值進(jìn)行分類并分發(fā)到相關(guān)節(jié)點執(zhí)行Reduce函數(shù)；

（2）其余類MapReduce計算模式、迭代、遞歸等也需要進(jìn)行大量分片和合并操作。

在這兩個過程中產(chǎn)生的大量中間結(jié)果數(shù)據(jù)要在不同的節(jié)點（Map節(jié)點/Reduce節(jié)點）之間傳輸，數(shù)據(jù)規(guī)模越大、參與計算的節(jié)點越多、Map-Reduce的迭代/遞歸次數(shù)越多，節(jié)點間傳輸?shù)念l度及數(shù)據(jù)量也越大，占用網(wǎng)絡(luò)的帶寬及時間也越長，最終可能導(dǎo)致網(wǎng)絡(luò)擁擠與堵塞，嚴(yán)重影響大數(shù)據(jù)處理框架的性能。

缺乏應(yīng)用感知網(wǎng)絡(luò)的支持，這些大數(shù)據(jù)處理框架其性能得不到很好的發(fā)揮，因此，在大數(shù)據(jù)處理框架與網(wǎng)絡(luò)之間構(gòu)建一抽象層，通過抽象層實現(xiàn)大數(shù)據(jù)處理框架與網(wǎng)絡(luò)之間的交互是一個有效的解決方式。一方面大數(shù)據(jù)處理框架無需修改現(xiàn)有的計算模式，直接通過該層告知基礎(chǔ)設(shè)施其所需計算資源的類別，而非特定的某一計算資源，從而讓計算資源調(diào)度策略從數(shù)據(jù)處理框架中脫離出來，使得計算過程主要關(guān)注數(shù)據(jù)的分析/處理，減輕大數(shù)據(jù)處理框架的包袱；另一方面通過該抽象層為第三方提供網(wǎng)絡(luò)訪問/調(diào)整的接口，在網(wǎng)絡(luò)物理結(jié)構(gòu)不變的前提下按大數(shù)據(jù)應(yīng)用需求調(diào)整網(wǎng)絡(luò)邏輯結(jié)構(gòu)，方便資源調(diào)度策略的優(yōu)化和實施，構(gòu)建應(yīng)用感知網(wǎng)絡(luò)更好地為大數(shù)據(jù)應(yīng)用提供服務(wù)。

3.2 從云存儲的角度分析

在大數(shù)據(jù)應(yīng)用的環(huán)境下，存儲是核心的組成之一，HDFS（Hadoop Distributed File System，HDFS）是當(dāng)前主流的一款開源云存儲框架，是一個分布式文件系統(tǒng)，更是適合運行在普通硬件上的分布式高容錯文件系統(tǒng)，當(dāng)前絕大多數(shù)云存儲系統(tǒng)都通過HDFS實現(xiàn)。

HDFS的系統(tǒng)架構(gòu)如圖4所示。

HDFS采用Master/Slave架構(gòu)。HDFS主要由Namenode（master）和一系列Datanode（workers）構(gòu)成。一個HDFS集群由一個Namenode和一定數(shù)目的Datanode組成。HDFS支持傳統(tǒng)的層次型文件組織。Namenode是一個中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的namespace以及客舳碩暈?zāi)嫉脑L問。HDFS有著高容錯性的特點，部署在低廉的硬件上，提供高傳輸率來訪問應(yīng)用程序的數(shù)據(jù)，是為以流的方式存取大文件而設(shè)計，適合擁有超大數(shù)據(jù)集的應(yīng)用程序。HDFS支持大數(shù)據(jù)文件，能夠提供大數(shù)據(jù)傳輸?shù)膸捄蛿?shù)百個節(jié)點的集群服務(wù)，能夠支持千萬級別的文件。所有的HDFS通訊協(xié)議都構(gòu)建在TCP/IP協(xié)議上。HDFS設(shè)計目標(biāo)對網(wǎng)絡(luò)的需求：

（1）硬件故障/錯誤及副本策略

硬件故障/錯誤是常態(tài)而非異常。HDFS集群由成百上千的服務(wù)器構(gòu)成，每個服務(wù)器上存儲著文件系統(tǒng)中數(shù)據(jù)的一部分，任一個服務(wù)器都有可能失效。因此錯誤檢測和快速、自動恢復(fù)是HDFS最為核心的架構(gòu)目標(biāo)。此時，在網(wǎng)絡(luò)上需解決網(wǎng)絡(luò)可用的計算節(jié)點數(shù)量減少，一部分文件的可用副本數(shù)減少等問題。為確保文件副本的數(shù)量，數(shù)據(jù)需備份，以防故障。

（2）流式數(shù)據(jù)訪問

HDFS應(yīng)用程序需要流式訪問數(shù)據(jù)集。HDFS進(jìn)行的是數(shù)據(jù)批處理，而非用戶交互處理；相比數(shù)據(jù)訪問的低延遲，更應(yīng)保證數(shù)據(jù)訪問的高吞吐量。

（3）大規(guī)模數(shù)據(jù)集

大數(shù)據(jù)應(yīng)用中的應(yīng)用程序是在大規(guī)模數(shù)據(jù)集基礎(chǔ)上的計算。HDFS上一個典型文件的大小一般都為G字節(jié)至T字節(jié)。因此，大文件存儲且能提供整體上數(shù)據(jù)傳輸?shù)母邘挘茉谝粋€集群里擴(kuò)展到數(shù)百個節(jié)點，使得網(wǎng)絡(luò)中的計算節(jié)點之間、存儲節(jié)點之間必然有大量數(shù)據(jù)傳輸。

（4）計算移到數(shù)據(jù)附近

數(shù)據(jù)離應(yīng)用程序越近，計算就越高效，尤其是在數(shù)據(jù)達(dá)到海量級別時。因為這樣就能降低網(wǎng)絡(luò)阻塞的影響，提高系統(tǒng)數(shù)據(jù)的吞吐量。

（5）數(shù)據(jù)復(fù)制及副本存放

HDFS能夠在集群機(jī)器上可靠地存儲超大文件，其將文件分割成若干“塊”，除了最后一個，所有“塊”大小一致。為了容錯，文件的所有數(shù)據(jù)塊都有副本。每個文件的數(shù)據(jù)塊大小和副本系數(shù)都可配置，應(yīng)用程序可以指定某個文件的副本數(shù)目。數(shù)據(jù)復(fù)制與采用的副本策略有關(guān)，且由于故障、更新、備份（HA的主要解決方案：Hadoop的元數(shù)據(jù)備份方案、Secondary NameNode方案、Checkpoint node方案、Backup Node方案、DRDB、Facebook的Avatarnode方案）等原因，數(shù)據(jù)復(fù)制經(jīng)常發(fā)生在同機(jī)架的不同存儲節(jié)點之間及不同機(jī)架的不同存儲節(jié)點之間，這個過程必然依靠網(wǎng)絡(luò)。

其他一些云存儲系統(tǒng)如GFS（HDFS是GFS的開源實現(xiàn)）、CoHadoop、StorNext FS、Lustr、Total Storage SAN File System、DDFS（Disco Distributed File System）等，其設(shè)計目標(biāo)主要為上述幾個方面。

云存儲系統(tǒng)設(shè)計目標(biāo)的實現(xiàn)依賴于暢通的網(wǎng)絡(luò)。云存儲作為大數(shù)據(jù)應(yīng)用的核心支撐，其效能直接影響到大數(shù)據(jù)應(yīng)用的性能，云存儲框架與網(wǎng)絡(luò)及計算資源的（服務(wù)器/存儲）高耦合（數(shù)據(jù)調(diào)度、存儲調(diào)度、副本存放、數(shù)據(jù)操作等與具體計算資源的選擇與使用高耦合）關(guān)系，將影響應(yīng)用框架的可擴(kuò)展性。在云存儲的文件操作與網(wǎng)絡(luò)中的存儲資源之間插入中間抽象層，云存儲系統(tǒng)只需告知抽象層申請的計算資源的類別，通過抽象層與計算資源之間的接口訪問某類資源，實現(xiàn)文件的相關(guān)操作，一方面能方便地直接訪問抽象層反饋的計算資源集，另一方面將操作的具體實現(xiàn)過程標(biāo)準(zhǔn)化，通過抽象的接口簡化云存儲系統(tǒng)的操作。

3.3 從大數(shù)據(jù)分析/處理任務(wù)調(diào)度的角度分析

大數(shù)據(jù)分析/處理都在集群（Cluster）的基礎(chǔ)上完成，通過網(wǎng)絡(luò)連接多個成為節(jié)點的計算機(jī)為應(yīng)用提供計算、數(shù)據(jù)存儲和通信資源等。以Hadoop集群所提供的大數(shù)據(jù)分析/處理為代表，Hadoop集群中節(jié)點負(fù)責(zé)數(shù)據(jù)存儲、集群維護(hù)管理和數(shù)據(jù)分析/處理的任務(wù)。在作業(yè)/任務(wù)調(diào)度中，分為JobTracker（控制節(jié)點）和TaskTracker（任務(wù)節(jié)點/執(zhí)行節(jié)點）。一般情況下，Namenode和 JobTracker合并在同一臺物理服務(wù)器上，Datanode和TaskTracker作為集群的主要部分也會被安裝在相同節(jié)點上且大量散布于集群中。

集群結(jié)構(gòu)如圖5所示[14，15]。

控制節(jié)點負(fù)責(zé)HDFS和MapReduce執(zhí)行的管理（JobTracker），其余節(jié)點為執(zhí)行節(jié)點（TaskTracker），負(fù)責(zé)數(shù)據(jù)的存儲和計算。任務(wù)調(diào)度是JobTracker指派任務(wù)（tasks）到相應(yīng)TaskTracker上執(zhí)行的過程。任務(wù)調(diào)度過程如下：

（1）JobTracker調(diào)度和管理其它TaskTracker，并將Map任務(wù)和Reduce任務(wù)分發(fā)給空閑的TaskTracker，讓這些任務(wù)并行運行，并負(fù)責(zé)監(jiān)控任務(wù)的運行情況。

（2）TaskTracker負(fù)責(zé)具體任務(wù)的執(zhí)行，并向JobTracker報告自己所處的狀態(tài)，接受其管理調(diào)度；一個重要的任務(wù)是原始輸入數(shù)據(jù)和中間運算結(jié)果的存儲和傳遞（在網(wǎng)絡(luò)中不同TaskTracker之間傳遞中間結(jié)果數(shù)據(jù)）。

（3）JobTracker和TaskTracker之間通過網(wǎng)絡(luò)以心跳機(jī)制實現(xiàn)通信。

（4）當(dāng)一個Map任務(wù)被分配到執(zhí)行節(jié)點執(zhí)行時，系統(tǒng)會移動Map計算程序到該節(jié)點――在數(shù)據(jù)存儲的Datanode節(jié)點上執(zhí)行這部分?jǐn)?shù)據(jù)的計算，以減少數(shù)據(jù)在網(wǎng)絡(luò)上的傳輸，降低對網(wǎng)絡(luò)帶寬的需求。

（5）在一個Reduce任務(wù)被分配到一個空閑的TaskTracker節(jié)點上執(zhí)行時，JobTracker會先將中間結(jié)果的key/value對在執(zhí)行Map任務(wù)的TaskTracker節(jié)點上局部磁盤位置信息發(fā)送給Reduce任務(wù)，Reduce任務(wù)采用遠(yuǎn)程過程調(diào)用機(jī)制從Map任務(wù)節(jié)點的磁盤中讀取數(shù)據(jù)。

任務(wù)/作業(yè)調(diào)度方法直接關(guān)系到Hadoop集群的整體系統(tǒng)和系統(tǒng)資源的利用情況。針對MapReduce集群先后提出了很多調(diào)度策略，包括FIFO調(diào)度、HOD調(diào)度、計算能力調(diào)度、公平{度等。

在任務(wù)/作業(yè)的調(diào)度中，無論何種調(diào)度策略，對網(wǎng)絡(luò)的使用及需求如下：

（1）JobTracker在分配任務(wù)前，必須與該任務(wù)使用的數(shù)據(jù)源所存儲的節(jié)點（節(jié)點集）建立聯(lián)系，并通過節(jié)點的空閑狀態(tài)以判斷是否在該節(jié)點啟動任務(wù)。針對一個文件，其被劃分為多個塊存儲在各節(jié)點上，每個文件塊對應(yīng)多個（默認(rèn)設(shè)置為3）副本，每個副本存儲在不同的節(jié)點上，因此，一個任務(wù)對應(yīng)要判斷多個節(jié)點的狀態(tài)。當(dāng)多個任務(wù)并行時，JobTracker要審閱大規(guī)模節(jié)點的狀態(tài)，當(dāng)前JobTracker節(jié)點與這些節(jié)點之間的網(wǎng)絡(luò)狀態(tài)對任務(wù)啟動的策略及判斷有非常大的影響；

（2）JobTracker無法判斷及獲知被選中的計算節(jié)點的當(dāng)前網(wǎng)絡(luò)狀況及其歷史網(wǎng)絡(luò)情況，因此計算節(jié)點的網(wǎng)絡(luò)狀況這一因素在任務(wù)調(diào)度中被忽略，不利于有效利用網(wǎng)絡(luò)以提高大數(shù)據(jù)分析/處理性能；

（3）在Reduce任務(wù)分配時，JobTracker由于不了解TaskTracker節(jié)點的當(dāng)前網(wǎng)絡(luò)狀況及其歷史網(wǎng)絡(luò)情況，無法根據(jù)TaskTracker節(jié)點的網(wǎng)絡(luò)狀況來選擇最優(yōu)的節(jié)點啟動Reduce任務(wù)，故無法高效快速地獲取Map任務(wù)產(chǎn)生的大量中間數(shù)據(jù)，從而影響了數(shù)據(jù)分析/處理的性能；

（4）在任務(wù)執(zhí)行的過程中，JobTracker與大規(guī)模的TaskTracker節(jié)點之間利用網(wǎng)絡(luò)來實現(xiàn)心跳機(jī)制的通信，JobTracker需要有穩(wěn)定的網(wǎng)絡(luò)來支持。

其它如表1所列的大數(shù)據(jù)處理框架中的任務(wù)調(diào)度也存在類似問題。所以，針對上述問題，在計算資源及網(wǎng)絡(luò)的上層架設(shè)一抽象層，負(fù)責(zé)統(tǒng)計網(wǎng)絡(luò)的當(dāng)前狀況及各節(jié)點的網(wǎng)絡(luò)狀態(tài)，維護(hù)計算資源的狀態(tài)，任務(wù)調(diào)度器只需向該抽象層提出執(zhí)行的任務(wù)（主要為TaskTracker的任務(wù)）及申請使用的計算資源的類別，從抽象層中獲取得到相應(yīng)類別的計算資源，最后執(zhí)行任務(wù)。通過架設(shè)這一抽象層，可以做到：

（1）大數(shù)據(jù)應(yīng)用環(huán)境下的任務(wù)調(diào)度器，只需關(guān)注調(diào)度策略及使用的計算資源類別，抽象層負(fù)責(zé)維護(hù)具體的計算資源的狀態(tài)，反饋告知調(diào)度器可按需查詢抽象層中所維護(hù)的計算資源的信息，實現(xiàn)計算資源對調(diào)度器的虛擬化；

（2）通過向抽象層中加載針對計算資源狀態(tài)分析、網(wǎng)絡(luò)歷史情況分析及節(jié)點網(wǎng)絡(luò)狀況分析的第三方策略獲得計算資源的最優(yōu)或次優(yōu)集，能更有效地利用網(wǎng)絡(luò)來優(yōu)化任務(wù)調(diào)度，通過提供計算資源調(diào)度策略的接口，有利于提高當(dāng)前計算框架的數(shù)據(jù)分析/處理性能；

（3）由于抽象層對任務(wù)調(diào)度器反饋的是某類計算資源中最優(yōu)或次優(yōu)的可選節(jié)點集，能實現(xiàn)節(jié)點及網(wǎng)絡(luò)的負(fù)載平衡，預(yù)防Map/Reduce任務(wù)之間大數(shù)據(jù)量傳輸所造成的網(wǎng)絡(luò)擁擠及堵塞，避開網(wǎng)絡(luò)帶寬的瓶頸。

3.4 從大數(shù)據(jù)處理中容錯處理的角度分析

由于大數(shù)據(jù)應(yīng)用環(huán)境下，數(shù)據(jù)的規(guī)模、計算資源（存儲、服務(wù)器）的規(guī)模和同時并行處理的任務(wù)規(guī)模都極其龐大，各種情況的失效[16，17]（服務(wù)器故障、軟件故障、存儲器故障、運行環(huán)境故障等）已成為一種常態(tài)行為。

MapReduce是一種并行編程模型，作為典型的大數(shù)據(jù)處理框架，被經(jīng)常用以處理和生成大數(shù)據(jù)集。任務(wù)調(diào)度以及容錯機(jī)制作為模型的重要組成部分，會對整個大數(shù)據(jù)處理框架的性能產(chǎn)生直接影響[18，19]。提高整個大數(shù)據(jù)應(yīng)用環(huán)境的容錯性[20]（分布存儲的容錯性、物理拓?fù)浣Y(jié)構(gòu)的容錯性、數(shù)據(jù)的容錯性等）是云計算面臨的一項挑戰(zhàn)。大數(shù)據(jù)應(yīng)用環(huán)境下，為提高容錯性對網(wǎng)絡(luò)的需求主要有以下幾個方面：

（1）節(jié)點失效、存儲介質(zhì)故障導(dǎo)致文件數(shù)據(jù)丟失。選擇另外一個或多個有足夠存儲空間的節(jié)點來存儲受影響的文件后，常態(tài)化需要在跨機(jī)架或同一機(jī)架跨節(jié)點之間進(jìn)行數(shù)據(jù)的復(fù)制/遷移 ，因此需要得到網(wǎng)絡(luò)在時間和帶寬上的支持；

（2）元數(shù)據(jù)服務(wù)器失效/JobTracker失效。為防止元數(shù)據(jù)服務(wù)器失效，應(yīng)對元數(shù)據(jù)備份眾多方案，在實施方面，網(wǎng)絡(luò)需在備份操作期間保持穩(wěn)定且維持一定的帶寬，以便傳輸日志、元數(shù)據(jù)信息等，保證數(shù)據(jù)的一致性；

大數(shù)據(jù)在云計算中的應(yīng)用范文第3篇

關(guān)鍵詞：大數(shù)據(jù)；云資源；云計算；應(yīng)用

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）05-0017-02

現(xiàn)階段，大數(shù)據(jù)這一概念廣泛被人們熟知，是繼數(shù)據(jù)云計算、數(shù)據(jù)挖掘后涌現(xiàn)出的另一項信息革命。在大數(shù)據(jù)的研究上，眾多商業(yè)機(jī)構(gòu)，如IBM、Microsoft等都已介入，在借助云計算這一數(shù)據(jù)信息平臺的基礎(chǔ)上，研發(fā)了大數(shù)據(jù)信息資源處理產(chǎn)品。作為高校來講，充分運用大數(shù)據(jù)時代的相關(guān)技術(shù)及產(chǎn)品，著重培育及使用高校云資源，具有極強的現(xiàn)實研究價值。

1大數(shù)據(jù)及其基本概述

大數(shù)據(jù)這一概念首先由麥肯錫公司在于2011年在分析報告中提出，在這一報告中，該公司表示：在社會生產(chǎn)生活各領(lǐng)域中，已被數(shù)據(jù)廣泛覆蓋，數(shù)據(jù)開始作為一種生產(chǎn)要素存在，通過對數(shù)據(jù)的調(diào)用，可以培育出新的消費增長點。但在業(yè)界關(guān)于大數(shù)據(jù)的具體內(nèi)涵界定上，尚未形成統(tǒng)一的表述，不一而足的內(nèi)涵表述方式都是基于一點：大數(shù)據(jù)具備較為龐雜的數(shù)據(jù)量，在數(shù)據(jù)信息的種類及形式上具備繁復(fù)多樣性，大數(shù)據(jù)并不等同于海量數(shù)據(jù)[1]。

結(jié)合相關(guān)數(shù)據(jù)統(tǒng)計，2010年，全世界范圍內(nèi)的信息數(shù)據(jù)總量達(dá)到了1.2ZB，通過對這些數(shù)據(jù)加以分析時可以獲取以下信息：結(jié)構(gòu)化數(shù)據(jù)在數(shù)據(jù)總量中占比僅為10%左右，剩余的數(shù)據(jù)主要以半結(jié)構(gòu)或非結(jié)構(gòu)化數(shù)據(jù)形式為主，如視頻、郵件、微博等。除了數(shù)量龐雜，種類形式多樣外，大數(shù)據(jù)還具備了快速預(yù)測的特點，具有較高的應(yīng)用價值。例如，美國的海洋及大氣管理部門，在日本發(fā)生地震災(zāi)害后，借助大數(shù)據(jù)信息，能夠在極短的時間內(nèi)制定并海嘯災(zāi)害的預(yù)警防備措施，從而能夠為有效預(yù)防后續(xù)災(zāi)害提供強力支撐。

2大數(shù)據(jù)時代背景下，高校云資源的整合與利用

在大數(shù)據(jù)時代，隨著信息技術(shù)及云計算的研究發(fā)展，高校信息建設(shè)能夠突破原有的信息局限性，消除原有的高校信息資源孤立化的弊端，可以通過云計算技術(shù)的運用將高校的各種教學(xué)資源加以整合利用，形成一個高校云資源儲存及管理的平臺，從而通過在此平臺中調(diào)用各類資源，為高校各項教學(xué)活動及管理決策的制定提供技術(shù)及服務(wù)參考。此外，更為重要的一點是，大數(shù)據(jù)時代背景下，伴隨云計算而出現(xiàn)了眾多的信息終端裝置，通過采用云計算技術(shù)，可以將這些信息終端裝置與高校的教學(xué)活動有效連接，一方面強化了教師與學(xué)生的交流溝通，另一方面有助于學(xué)生高效地開展學(xué)習(xí)活動。

總體上看，大數(shù)據(jù)時代的到來，給云計算功效的真正發(fā)揮提供了技術(shù)支持，使得云計算可以和大數(shù)據(jù)、高校三者之間有效銜接，使高校教育資源能夠被充分調(diào)動起來，為高校云資源的整合利用帶來了一些新的變革：

2.1為高校圖書館管理及發(fā)展提供契機(jī)

大數(shù)據(jù)時代下云計算的優(yōu)勢在高校圖書館中體現(xiàn)最為明顯，其給高校圖書館管理及發(fā)展帶來的影響主要是改變了其服務(wù)的基本形態(tài)，借助云計算，可以使圖書館進(jìn)行網(wǎng)絡(luò)及數(shù)字化應(yīng)用階段，從而建立起了以云資源為主要模式的高校數(shù)字圖書館。例如，借助云計算技術(shù)，我國山東省高校圖書館構(gòu)成了基于云技術(shù)的圖書館聯(lián)盟，實現(xiàn)了資源、管理及服務(wù)上的共享化，一體化。

此外，大數(shù)據(jù)憑借其數(shù)據(jù)分析及挖掘功能，可以對云儲存端的各種信息數(shù)據(jù)加以分析歸納，從而對學(xué)生的圖書借閱需求，學(xué)生群體的知識層次結(jié)構(gòu)等加以揣摩，從而為圖書館管理者更好地進(jìn)行決策提供借鑒；針對借閱者的科研及讀者與圖書館之間的交互服務(wù)，可以借助大數(shù)據(jù)開展預(yù)測分析，做到圖書館后期發(fā)展階段未雨綢繆；針對圖書館信息數(shù)據(jù)的館藏，還可以通過大數(shù)據(jù)建立相關(guān)的風(fēng)險評估模型。

2.2 為高校學(xué)習(xí)效率的提升提供指導(dǎo)

大數(shù)據(jù)和及云計算之間的融合，能夠使教育資源實現(xiàn)應(yīng)用上的有機(jī)整合，做到將存儲在云端的高校教學(xué)資源加以共享，再借助大數(shù)據(jù)的數(shù)據(jù)分析及挖掘功能，對教育信息資源中蘊藏的各種數(shù)據(jù)信息進(jìn)行分析提煉，從而為高校教與學(xué)策略規(guī)劃提供幫助[2]。此外，通過運用大數(shù)據(jù)還可以著重對學(xué)生在學(xué)習(xí)中的各項行為及愛好等數(shù)據(jù)信息加以分析，摸準(zhǔn)學(xué)生的學(xué)習(xí)特點，以此為教師科學(xué)制定教學(xué)決策予以指導(dǎo)。最后，大數(shù)據(jù)還可以被用于對學(xué)生的學(xué)習(xí)效果及學(xué)習(xí)傾向進(jìn)行分析評價，通過對學(xué)生業(yè)務(wù)時間參與各項活動的信息加以解析，可以對學(xué)生的學(xué)習(xí)效果及傾向加以評估，便于教師掌握學(xué)生學(xué)習(xí)及生活動態(tài)，提升教與學(xué)的效率。

2.3為高校管理決策提供參考

傳統(tǒng)的數(shù)據(jù)分析是基于群體調(diào)查而展開，不具備較高的數(shù)據(jù)精準(zhǔn)性。進(jìn)入大數(shù)據(jù)時代后，借助大數(shù)據(jù)具備的數(shù)據(jù)分析整理功能，可以為決策的制定提供更加全面到位的數(shù)據(jù)信息參考，從而使管理及決策者對市場、產(chǎn)品及消費群體的把握更加準(zhǔn)確。作為高校來講，通過運用大數(shù)據(jù)及云端信息分析處理技術(shù)，也可以對高校的發(fā)展?fàn)顩r及后期趨勢加以模擬，將高校管理決策與相應(yīng)的數(shù)據(jù)信息相印證，從而起到規(guī)避決策風(fēng)險的效果。另外，通過大數(shù)據(jù)技術(shù)，還能夠使高校教育達(dá)到質(zhì)量與公平上的統(tǒng)一，而大數(shù)據(jù)技術(shù)貫穿于高校各個部門中，又可以進(jìn)一步對高校教學(xué)及管理成效加以驗證，有助于高校改革的退行實施。

3大數(shù)據(jù)時代高校云資源應(yīng)用中的數(shù)據(jù)處理及服務(wù)的原理和流程

大數(shù)據(jù)時代背景下，對云資源加以利用時，人們的關(guān)注點不僅僅局限于數(shù)據(jù)的分析及使用，而更加注重通過數(shù)據(jù)分析對之后的發(fā)展趨向加以預(yù)測。這就需要我們對云資源在信息數(shù)據(jù)處理及服務(wù)方面的流程進(jìn)行探究。

3.1 高校云資源的信息數(shù)據(jù)處理

伴隨著云計算的出現(xiàn)，在教學(xué)資源的信息數(shù)據(jù)處理上有了革命性的提升，圍繞著云計算，各大高校著力打造以云為核心的教育模式。但在對高校云資源加以分析時，通常選用關(guān)系數(shù)據(jù)庫的形式，一方面其信息分析及管理成本較高，另一方面也無法對后期教育資源應(yīng)用趨勢加以前瞻分析。因此，基于大數(shù)據(jù)，Hadoop技術(shù)得以形成，該技術(shù)涵蓋了資源內(nèi)存檢索、數(shù)據(jù)實時反應(yīng)，主要借助Map Reduce對數(shù)據(jù)加以管理，從而做到了對信息資源的高效分析。在具體處理流程上，該平臺通過對云端上的各種信息碎片數(shù)據(jù)，如學(xué)生及教室的云端信息等加以整理匯總，然后再對這些數(shù)據(jù)碎片加以提煉，形成具有連續(xù)性的信息數(shù)據(jù)，最后該平臺接收并對這些信息數(shù)據(jù)加以分析，在數(shù)據(jù)挖掘技術(shù)的配合下，最終構(gòu)成具備較強價值的信息，為教師、學(xué)生及管理者提供指導(dǎo)。

3.2 高校云資源的教育資源服務(wù)

在大數(shù)據(jù)及云計算的輔助下，高校資源的用戶在資源需求上也出現(xiàn)了一定程度的變化，由此也使高校資源在服務(wù)上，管理模式上及途徑上也有所改變。結(jié)合大數(shù)據(jù)及云計算的特征規(guī)律，可以預(yù)見到，高校教育及服務(wù)主要依靠采用大數(shù)據(jù)對信息數(shù)據(jù)加以分析、提煉，在此基礎(chǔ)上提供具體的資源服務(wù)，因此，高校云資源教育服務(wù)的針對性將更加凸顯[3]。首先，高校云資源是以提供準(zhǔn)確及時的信息服務(wù)為宗旨，資源用戶不必探究其形成過程，只要對其結(jié)果加以運用即。其次，大數(shù)據(jù)技術(shù)體系下，通過對信息數(shù)據(jù)碎片加以分析，然后反饋到云端資源中，用戶可以針對某一項信息要素，如教學(xué)方法及手段進(jìn)行重點分析，可以對其效果加以評估，從而使教師及時修正自身教學(xué)方式，以提高教學(xué)效率。第三，大數(shù)據(jù)時代與信息化的有效結(jié)合，能夠使高校云資源服務(wù)形式更加多樣，如教師及學(xué)生可以對資源使用情況進(jìn)行評價，通過大數(shù)據(jù)進(jìn)行采集及分析，可以對教育資源的使用及改進(jìn)建議加以匯總，從而提高云資源服務(wù)的主動性。

4大數(shù)據(jù)時代高校云資源應(yīng)用的趨勢分析

4.1 高校云資源的應(yīng)用以滿足學(xué)生終身學(xué)習(xí)需求為方向

在大數(shù)據(jù)時代下，作為高校信息資源來說，已經(jīng)不是傳統(tǒng)的較為明確的關(guān)系數(shù)據(jù)，而是各種基于學(xué)生訪問及調(diào)用的各種非結(jié)構(gòu)形式的數(shù)據(jù)，如信息資源的瀏覽訪問及下載訪問等[4]。在這一趨勢下，高校云資源的信息數(shù)據(jù)處理就需要將重點轉(zhuǎn)向?qū)Υ祟愋畔?shù)據(jù)的分析工作，然后將結(jié)果以數(shù)據(jù)的形式加以呈現(xiàn)，從而便于學(xué)生能夠?qū)ψ陨淼膶W(xué)習(xí)情況及信息獲取頻率加以掌握，使學(xué)生從盲目地學(xué)習(xí)狀態(tài)中走出，滿足自身終身學(xué)習(xí)的需求。

4.2 高校云資源的應(yīng)用以打造交流溝通類型的課堂教學(xué)形式為方向

傳統(tǒng)高校教學(xué)課堂，師生之間的交流不夠頻繁，教學(xué)效果收效不明顯，在大數(shù)據(jù)時代背景下，借助大數(shù)據(jù)分析技術(shù)，教師能夠?qū)W(xué)生的學(xué)習(xí)情況加以全面掌握，從而根據(jù)學(xué)生的學(xué)習(xí)興趣點及側(cè)重點，通過多種多樣的教學(xué)手段，從高校云資源中挑選教學(xué)資源，通過教學(xué)課件及視頻的方式予以呈現(xiàn)，一方面可以使學(xué)生的學(xué)習(xí)更具針對性，另一方面圍繞學(xué)習(xí)中的難點及重點，教師也能夠更多地與學(xué)生展開交流溝通，從而實現(xiàn)教學(xué)相長的目標(biāo)。

5 高校云資源的應(yīng)用以促進(jìn)教室及教學(xué)設(shè)備管理更加快捷高效為方向

在高校教室及相應(yīng)的教學(xué)設(shè)備管理上，在大數(shù)據(jù)時代以前，往往安排專人進(jìn)行負(fù)責(zé)，一方面增加了高校的人力投入成本，另一方面其管理效率未必高效。與之相對應(yīng)，在大數(shù)據(jù)時代背景下，可以通過對高校云資源的存儲信息加以提煉，獲取高校教室及相應(yīng)的教學(xué)設(shè)備使用數(shù)據(jù)，通過對其加以分析整理，可以形成某一時段教室及設(shè)備的應(yīng)用信息及應(yīng)用的趨勢，從而為管理人員科學(xué)判斷該教室及設(shè)備能否滿足教學(xué)活動需求，是否存在故障發(fā)生臨界點提供數(shù)據(jù)支持，以便管理人員及時對教室及設(shè)備加以維保，既節(jié)約了管理成本，又能夠提高教室及設(shè)備資源的利用效率。

6 結(jié)束語

大數(shù)據(jù)伴隨著信息技術(shù)及云計算技術(shù)的不斷發(fā)展而出現(xiàn)，現(xiàn)已被各行業(yè)管理人員普遍重視，并著重開展了相關(guān)的實踐及應(yīng)用。作為高校來講，其信息資源逐漸向著復(fù)雜化、規(guī)模化方向發(fā)展，通過借助大數(shù)據(jù)及云計算技術(shù)，可以建立高校云資源數(shù)據(jù)庫，為教學(xué)、學(xué)習(xí)及決策提供詳盡科學(xué)的指導(dǎo)。

參考文獻(xiàn)：

[1] 鄒流鄉(xiāng)，王朝斌.高校云計算資源共享平臺建設(shè)研究[J].西華師范大學(xué)學(xué)報（自然科學(xué)版），2014（1）：91-94.

[2] 郭松.大數(shù)據(jù)時代高校學(xué)習(xí)資源云存儲模型構(gòu)建研究[J].軟件導(dǎo)刊?教育技術(shù)，2014（11）：48-49.

大數(shù)據(jù)在云計算中的應(yīng)用范文第4篇

關(guān)鍵詞：大數(shù)據(jù)；云計算；財務(wù)管理；應(yīng)用

財務(wù)管理工作是學(xué)校的重要工作之一，而大數(shù)據(jù)和云計算的引入，能夠解決很多傳統(tǒng)財務(wù)管理模式中存在的問題，拓展了財務(wù)管理工作原有的工作范圍，節(jié)約了人力物力，使遠(yuǎn)程和高負(fù)荷數(shù)據(jù)處理成為一種可能。因此，在大數(shù)據(jù)和云計算視域下，加強財務(wù)管理，促進(jìn)學(xué)校的和諧健康發(fā)展是值得探究的課題。

一、相關(guān)概念

1.大數(shù)據(jù)

大數(shù)據(jù)能夠從種類繁多、來源廣泛的海量不同數(shù)據(jù)中提取出最有價值的數(shù)據(jù)。它具有數(shù)據(jù)的容量龐大、數(shù)據(jù)的種類復(fù)雜多樣、數(shù)據(jù)的來源可靠性和價值度較低、處理時效緊等特點。財務(wù)大數(shù)據(jù)是指通過一定的技術(shù)手段把大數(shù)據(jù)技術(shù)有效運用在財務(wù)管理工作上。大數(shù)據(jù)的運用，能夠使財務(wù)工作人員在極短的時間內(nèi)，從結(jié)構(gòu)復(fù)雜、種類繁多的財務(wù)數(shù)據(jù)當(dāng)中提取最有用的財務(wù)信息。

2.云計算

云計算是一種以互聯(lián)網(wǎng)為基礎(chǔ)的共享資源使用模式，當(dāng)用戶需要使用計算資源時，只需要向互聯(lián)網(wǎng)提交計算資源服務(wù)的申請，互聯(lián)網(wǎng)接收到用戶的申請后，就能夠把用戶申請的計算資源服務(wù)立刻劃分成很多不同的小程序，然后再通過互聯(lián)網(wǎng)上大量的電腦、服務(wù)器資源把各個程序迅速處理，并立即傳回給用戶。通過這樣的方法，用戶可以通過申請，在短時間內(nèi)調(diào)用互聯(lián)網(wǎng)上龐大的服務(wù)器、計算機(jī)資源，來為自己完成數(shù)據(jù)服務(wù)，相當(dāng)于用戶擁有了世界上運算最快捷的、最先進(jìn)的超級計算機(jī)。云計算具有計算容量大、服務(wù)方便、穩(wěn)定性高、成本低等優(yōu)點，但存在一定的風(fēng)險。大數(shù)據(jù)與云計算是相互關(guān)聯(lián)，互相依存、共同作用的。運用大數(shù)據(jù)離不開云計算，云計算是大數(shù)據(jù)技術(shù)最有效的方法，云計算為大數(shù)據(jù)提供了基礎(chǔ)架構(gòu)平臺，大數(shù)據(jù)是云計算的基礎(chǔ)。

二、基于大數(shù)據(jù)的財務(wù)決策流程

財務(wù)數(shù)據(jù)管理是財務(wù)管理工作的重點，它詳細(xì)記錄著一個單位的各種經(jīng)濟(jì)活動和資金運轉(zhuǎn)情況，數(shù)據(jù)信息是財務(wù)決策的基礎(chǔ)和保障。運用大數(shù)據(jù)和云計算，能夠及時發(fā)現(xiàn)整個運行過程中存在的各種問題和風(fēng)險，有效提高對數(shù)據(jù)的處理能力?；诖髷?shù)據(jù)的財務(wù)決策流程主要有：建立財務(wù)大數(shù)據(jù)收集系統(tǒng)，把收集到的各種財務(wù)數(shù)據(jù)，通過大數(shù)據(jù)收集系統(tǒng)完成不同類型財務(wù)數(shù)據(jù)的收集、加工處理和有效提取，確保財務(wù)大數(shù)據(jù)的一致性、準(zhǔn)確性、實時性和系統(tǒng)性；對財務(wù)大數(shù)據(jù)進(jìn)行定量分析，通過財務(wù)云計算平臺對財務(wù)大數(shù)據(jù)進(jìn)行實時分析處理；通過數(shù)據(jù)挖掘功能給出財務(wù)數(shù)據(jù)背后存在的相關(guān)問題，根據(jù)之前所有的數(shù)據(jù)的相關(guān)性分析，做出切實可行的決策方案。

三、大數(shù)據(jù)和云計算技術(shù)背景下財務(wù)管理的創(chuàng)新策略

1.正確認(rèn)識，合理運用

自上而下高度重視，正確認(rèn)識大數(shù)據(jù)和云計算所帶來的價值，明確大數(shù)據(jù)和云計算的意義和作用，把大數(shù)據(jù)和云計算在財務(wù)管理中的創(chuàng)新運用當(dāng)作重要工作來抓，充分發(fā)揮財務(wù)管理部門和財務(wù)人員的積極作用，把大數(shù)據(jù)和云計算的新理念和高效的財務(wù)處理技術(shù)相融合，不斷提高財務(wù)管理人員通過大數(shù)據(jù)和云計算對財務(wù)數(shù)據(jù)的分析和處理能力，以便更好應(yīng)對各種財務(wù)風(fēng)險的挑戰(zhàn)。結(jié)合本單位的具體情況，創(chuàng)建財務(wù)管理信息中心，加強對財務(wù)數(shù)據(jù)的處理、分析和應(yīng)用，促進(jìn)學(xué)校的生存和發(fā)展。

2.加強隊伍建設(shè)

大數(shù)據(jù)和云計算的引入，不僅需要新的管理模式，更需要財務(wù)工作人員能夠通過對數(shù)據(jù)進(jìn)行分析，根據(jù)數(shù)據(jù)分析的結(jié)果，透過現(xiàn)象抓住本質(zhì)的東西，引領(lǐng)決策者做出正確選擇。大數(shù)據(jù)和云計算需要專業(yè)性很強的技術(shù)人才，因此，應(yīng)加強對財務(wù)管理人員的培訓(xùn)，多為他們提供外出學(xué)習(xí)和參觀的機(jī)會，學(xué)習(xí)好的創(chuàng)新做法和管理經(jīng)驗，更多地了解其他單位的大數(shù)據(jù)和云計算的運用情況，不斷提升自身的專業(yè)水平，在可能的情況下，加大資金投入，聘請對大數(shù)據(jù)和云計算了解透徹、運用能力強的專業(yè)人員來本單位工作，同時指導(dǎo)并定期組織財務(wù)管理人員和有這方面訴求的員工學(xué)習(xí)相關(guān)知識，促進(jìn)整個隊伍建設(shè)。

3.建立統(tǒng)一的信息化管理系統(tǒng)

大數(shù)據(jù)和云計算的引入，原有的信息系統(tǒng)已滿足不了新技術(shù)的需求。這就需要建立統(tǒng)一的信息化管理系統(tǒng)。統(tǒng)一數(shù)據(jù)格式，加大信息存儲量，以便對多年累積的內(nèi)部、外部各種業(yè)務(wù)、財務(wù)等各種信息進(jìn)行剖析，提取有價值的數(shù)據(jù)，促進(jìn)本單位財務(wù)管理工作。建設(shè)適用于不同行業(yè)的可擴(kuò)展性報告語言，通過規(guī)范、適用的會計信息平臺，不斷提高會計數(shù)據(jù)的收集、整理、儲存和分析，從而提高對數(shù)據(jù)的利用率。根據(jù)單位的具體情況，不斷創(chuàng)新，開發(fā)研制新軟件，和大數(shù)據(jù)、云計算進(jìn)行有機(jī)結(jié)合，加強財務(wù)管理工作，促進(jìn)學(xué)校的生存和發(fā)展。與傳統(tǒng)的財務(wù)管理模式相比，大數(shù)據(jù)和云計算模式下的財務(wù)信息化管理系統(tǒng)，不僅提高了系統(tǒng)的安全可靠性，“云財務(wù)”系統(tǒng)還具有自動化管理能力和可擴(kuò)展性能，進(jìn)而實現(xiàn)整個財務(wù)系統(tǒng)的自動重復(fù)實施和自動化管理操作。首先搭建云計算架構(gòu)，把整合后的用戶系統(tǒng)逐步遷移到云計算構(gòu)架中，運用云計算構(gòu)架模式來取代原有財務(wù)應(yīng)用系統(tǒng)。在云架構(gòu)模式下，財務(wù)軟件能夠稽查到用戶的財務(wù)制度是否合理、操作流程是否規(guī)范等，如果用戶的操作存在不安全隱患，可以根據(jù)財務(wù)制度的要求進(jìn)行及時修正。還可以依據(jù)本單位內(nèi)部的財務(wù)管理制度和管理模式，制定出不同的財務(wù)人員的合法行為，通過云系統(tǒng)實現(xiàn)對財務(wù)人員的合法行為的安全審計。一旦發(fā)現(xiàn)違規(guī)行為或者違章操作，需在云端設(shè)置的第一時間進(jìn)行預(yù)處理的策略。在云系統(tǒng)財務(wù)軟件建立之后，根據(jù)不同的管理和操作人員的各自角色的不同，進(jìn)行財務(wù)軟件管理的模板化。

4.加強風(fēng)險管理

無論管理者還是財務(wù)工作人員，都應(yīng)不斷學(xué)習(xí)和探究，了解更多有關(guān)大數(shù)據(jù)和云計算的相關(guān)知識。對我國云計算的規(guī)模、價格、服務(wù)種類以及安全水平進(jìn)行綜合考察，了解它的安全性能、穩(wěn)定情況和技術(shù)支持能力等，結(jié)合單位的實際情況制定合理的風(fēng)險管理方案，特別是各種風(fēng)險的應(yīng)急措施，提高云計算整體的安全性，要求服務(wù)商要加強云存儲的安全以及數(shù)據(jù)庫的管理和數(shù)據(jù)傳輸?shù)陌踩?，云計算要設(shè)有防止數(shù)據(jù)外泄的安全防護(hù)系統(tǒng)。隨著大數(shù)據(jù)和云計算逐步走進(jìn)各行各業(yè)，財務(wù)管理工作也將迎來全新改變。根據(jù)本單位的具體情況，通過改變觀念、加強隊伍建設(shè)、建立統(tǒng)一的信息化系統(tǒng)、構(gòu)建云財務(wù)模式等有效方式，加強財務(wù)管理，不僅使財務(wù)管理工作更高效、更便捷，而且充分調(diào)動了財務(wù)管理人員的工作積極性，減少了單位的資金投入，節(jié)約了人力資源，提高了工作效率，為更好的適應(yīng)時代的發(fā)展，提高競爭力打下了必備的基礎(chǔ)。

參考文獻(xiàn)

1.朱曉燕.大數(shù)據(jù)和云計算技術(shù)在財政工作中的應(yīng)用研究.中國財政，2016（22）.

2.熊發(fā)政，李育強，陳英齊.淺析大數(shù)據(jù)技術(shù)在高校學(xué)生教育管理工作中的應(yīng)用路徑.才智，2016（23）.

3.張方，陳發(fā)富.大數(shù)據(jù)技術(shù)在高校管理中的應(yīng)用初探.信息通信，2015（07）.

4.賈子揚.基于大數(shù)據(jù)的財務(wù)報表持續(xù)審計研究.山西財經(jīng)大學(xué)，2016.

大數(shù)據(jù)在云計算中的應(yīng)用范文第5篇

當(dāng)前云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等技術(shù)飛速發(fā)展，數(shù)據(jù)的種類和規(guī)模以前所未有的速度增長，如何管理和利用大數(shù)據(jù)成為當(dāng)前研究的熱點。云計算和大數(shù)據(jù)技術(shù)對數(shù)據(jù)處理及服務(wù)方式產(chǎn)生巨大影響。文章闡述了云計算和大數(shù)據(jù)的內(nèi)涵特征基礎(chǔ),結(jié)合醫(yī)療領(lǐng)域，論述了大數(shù)據(jù)的研究意義及云計算下大數(shù)據(jù)處理方式。闡述了云計算下大數(shù)據(jù)技術(shù)不僅改變了傳統(tǒng)的數(shù)據(jù)管理模式，必將帶來極大的經(jīng)濟(jì)與社會價值。

【關(guān)鍵字】

云計算；大數(shù)據(jù)；醫(yī)療行業(yè)數(shù)據(jù)；應(yīng)用研究

一、前言

隨著社會的發(fā)展，人們?nèi)粘Ｉ钆c工作產(chǎn)生的數(shù)據(jù)量越來越大，人類已經(jīng)步入了大數(shù)據(jù)時代。數(shù)據(jù)變化具有以下趨勢：第一是海量數(shù)據(jù)的需求。數(shù)據(jù)基本是以每年成倍的速度進(jìn)行增長，數(shù)據(jù)量的需求分析也更細(xì)，對它的門檻要求也更低，傳統(tǒng)的數(shù)據(jù)庫無法滿足這種需求。第二是快的需求。數(shù)據(jù)得到的同時，希望有智能的產(chǎn)生，希望能夠直接產(chǎn)生效果。第三現(xiàn)在的開發(fā)者，需求是多樣化的，很多時候關(guān)系型數(shù)據(jù)庫并不是最優(yōu)的解決方案。數(shù)據(jù)的不斷增長，給數(shù)據(jù)存儲、數(shù)據(jù)管理和分析利用帶來了機(jī)遇;在這些包括個人信息、消費記錄等的海量數(shù)據(jù)之中，蘊含著許多有價值的信息，能夠為企業(yè)經(jīng)營及管理提供參考。云計算作為這個大數(shù)據(jù)時代的主流技術(shù)，對于大數(shù)據(jù)的應(yīng)用管理又有著重要影響。云計算是大數(shù)據(jù)的IT基礎(chǔ)，而大數(shù)據(jù)是云計算的一個重要應(yīng)用。

二、大數(shù)據(jù)的概念與意義

1、大數(shù)據(jù)的概念

大數(shù)據(jù)，即巨大數(shù)據(jù)量，不能夠通過主流的軟件工具，在適當(dāng)?shù)臅r間內(nèi)收集管理處理及組織起來，使之作為企業(yè)決策的有用信息。大數(shù)據(jù)，需要特別的技術(shù)，由大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘網(wǎng)格、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴(kuò)展的存儲系統(tǒng)組成。“大數(shù)據(jù)”，需要更多的決策權(quán)及洞察發(fā)現(xiàn)力及過程地大規(guī)模優(yōu)化能力，應(yīng)對新模式高增長率及信息資產(chǎn)多樣化。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義并不是一個巨大的數(shù)據(jù)信息的掌握，而是因為這些包含了專門的數(shù)據(jù)進(jìn)行處理。大數(shù)據(jù)的特點可以概括為4個“V”（大量Volume，多樣Va－riety，價值Value，高速Velocity）。首先，龐大的數(shù)據(jù)量。大數(shù)據(jù)的初始測量單元至少為P（1000個T），E（100萬個T）或Z（10億個T）；二、數(shù)據(jù)類型豐富。例如，網(wǎng)絡(luò)日志，視頻，圖片，位置信息等。第三，低密度，高商業(yè)價值。第四、快速處理速度。這最后一點是傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)本質(zhì)上是不同的。大數(shù)據(jù)技術(shù)，是一種先進(jìn)的數(shù)據(jù)分析技術(shù)，能夠從各類數(shù)據(jù)快速獲取有價值地信息，它需要新地加工方式，實現(xiàn)更大決策力地海量高增長率及多樣化的信息。

2、大數(shù)據(jù)的意義

面對大數(shù)據(jù)直接從所有的數(shù)據(jù)分析，挖掘所需信息。分析數(shù)據(jù)挖掘是混合的有不同來源數(shù)據(jù)結(jié)構(gòu)，要求其對樣品的精度高并且關(guān)注數(shù)據(jù)相關(guān)性地研究。大數(shù)據(jù)為云計算及計算能力提供了解決空間，對于大數(shù)據(jù)存儲挖掘及云計算業(yè)務(wù)，大數(shù)據(jù)需要高效節(jié)能的海量云服務(wù)器，并從海量數(shù)據(jù)提取有價值地信息，能夠?qū)φ鹑诹闶蹔蕵芳懊襟w領(lǐng)域帶來革命性的變化。云計算是基礎(chǔ)信息存儲，為數(shù)據(jù)共享和挖掘方法提供有用的工具，通過數(shù)據(jù)的分析和預(yù)測使決策更加準(zhǔn)確。中國擁有龐大地高度復(fù)雜性充滿變化的用戶群體，將成為世界數(shù)據(jù)量最大的國家。探索基于大數(shù)據(jù)的解決方案能夠解決海量數(shù)據(jù)帶來的問題，并使國內(nèi)產(chǎn)業(yè)升級和提高效率。

三、云計算技術(shù)與大數(shù)據(jù)結(jié)合應(yīng)用

1、云計算技術(shù)

云計算，是互聯(lián)網(wǎng)基礎(chǔ)設(shè)施底層的抽象，是互聯(lián)網(wǎng)相關(guān)服務(wù)的使用和交付模式，并提供一個具有擴(kuò)展性和虛擬性地動態(tài)資源。云計算，將加工程序自動分割成許多較小子程序，通過互聯(lián)網(wǎng)使一個或多個服務(wù)器搜索大量系統(tǒng)的計算和分析的巨大處理能力。最后將計算處理結(jié)果反饋給用戶。云計算，強調(diào)動態(tài)計算能力，大數(shù)據(jù)，是靜態(tài)計算的對象。

2、云計算與大數(shù)據(jù)關(guān)系

云計算和大數(shù)據(jù)是相輔相成的關(guān)系。云計算提供了大數(shù)據(jù)存儲和操作地一個計算平臺，大數(shù)據(jù)則利用分布式處理方法來應(yīng)用此平臺，云計算與大數(shù)據(jù)，前者強調(diào)計算能力，需要處理大量復(fù)雜數(shù)據(jù)：包括數(shù)據(jù)獲取、整理、轉(zhuǎn)換、統(tǒng)計。云計算，要用大量數(shù)據(jù)作為運算地基礎(chǔ)，兩者是必然趨勢結(jié)合。在具體實際應(yīng)用中，云計算促進(jìn)了大數(shù)據(jù)的實際應(yīng)用，這種應(yīng)用出現(xiàn)在公共問題領(lǐng)域等。借助云計算、云存儲、數(shù)據(jù)丟失、病毒入侵等問題的優(yōu)勢，保障數(shù)據(jù)安全和爆炸性增長的數(shù)據(jù)為企業(yè)帶來了新的機(jī)遇和挑戰(zhàn)。

四、大數(shù)據(jù)在醫(yī)療行業(yè)應(yīng)用

1、醫(yī)療行業(yè)數(shù)據(jù)分析

隨著醫(yī)院信息化的快速發(fā)展，醫(yī)療行業(yè)產(chǎn)生大量的醫(yī)療數(shù)據(jù)，如何使這些數(shù)據(jù)提供幫助，即節(jié)約醫(yī)療成本，提高醫(yī)療質(zhì)量，目前，醫(yī)療數(shù)據(jù)的應(yīng)用，還有一些問題，一是醫(yī)療數(shù)據(jù)分散在各個醫(yī)療機(jī)構(gòu)，二是數(shù)據(jù)利用率很低，醫(yī)院信息系統(tǒng)積累了大量的數(shù)據(jù)，但在大多數(shù)情況下僅限于管理層面，很少涉及臨床專業(yè)水平。在面對大量的醫(yī)療數(shù)據(jù)積累的情況下，如果可以進(jìn)行有效的數(shù)據(jù)分析和數(shù)據(jù)挖掘，可以獲得大量的有價值的信息，可以幫助醫(yī)療和醫(yī)院決策者，從而推動到醫(yī)院提供更好的醫(yī)療服務(wù)，提高治療質(zhì)量。大數(shù)據(jù)技術(shù)將在醫(yī)療領(lǐng)域的公共基礎(chǔ)服務(wù)領(lǐng)域應(yīng)用，將能夠幫助醫(yī)院推動醫(yī)療行業(yè)的進(jìn)步。

2、大數(shù)據(jù)的應(yīng)用

由于區(qū)域醫(yī)療信息化及醫(yī)療物聯(lián)網(wǎng)地應(yīng)用，能夠產(chǎn)生大量地數(shù)據(jù)：如測試結(jié)果、成本數(shù)據(jù)、傳感器數(shù)據(jù)、基因數(shù)據(jù)和圖像數(shù)據(jù)等，并且還包括大量的在線實時數(shù)據(jù)分析和處理的需求數(shù)據(jù)，它們滿足大數(shù)據(jù)4V特征，屬于大數(shù)據(jù)類別。為了創(chuàng)造經(jīng)濟(jì)和社會價值，如何有效地管理利用這些海量地醫(yī)療數(shù)據(jù)是醫(yī)療行業(yè)面臨的挑戰(zhàn)。在醫(yī)學(xué)領(lǐng)域中大數(shù)據(jù)技術(shù)的應(yīng)用前景廣泛。主要包括以下幾個方面：

（1）臨床決策支持系統(tǒng)

將大數(shù)據(jù)技術(shù)應(yīng)用于臨床決策支持系統(tǒng)，能使系統(tǒng)更加智能化。由于大數(shù)據(jù)分析技術(shù)的非結(jié)構(gòu)化數(shù)據(jù)的強大的分析能力。例如：在醫(yī)學(xué)文獻(xiàn)數(shù)據(jù)庫通過數(shù)據(jù)挖掘，為醫(yī)師提出更合理的診斷及治療意見，提醒醫(yī)生對于預(yù)防潛在的錯誤，例如由于藥品不良反應(yīng)等，通過采用圖像分析與識別技術(shù)，對醫(yī)學(xué)圖像數(shù)據(jù)進(jìn)行識別并提高診斷和治療的質(zhì)量。

（2）個性化地醫(yī)療系統(tǒng)

通過對患者進(jìn)行如基因組數(shù)據(jù)分析的個性化醫(yī)療大型數(shù)據(jù)。綜合分析患者的特點及療效數(shù)據(jù)及對患者進(jìn)行基因測序的調(diào)查，對某一疾病患者的藥物特殊性和敏感性的反應(yīng)關(guān)系,及在治療過程中的特殊性進(jìn)行靶向治療。

（3）監(jiān)測與預(yù)報流行病

在中國疾病預(yù)防控制中心，建設(shè)突發(fā)公共衛(wèi)生事件和國家傳染病網(wǎng)絡(luò)報告系統(tǒng)已投入運行，每年存儲的病例報告和信息有600多萬左右，覆蓋了全國所有縣疾病控制機(jī)構(gòu)信息的年度報告。通過大數(shù)據(jù)技術(shù)報告海量數(shù)據(jù)可以進(jìn)行綜合性地分析及檢測，對于通過綜合疾病監(jiān)測及反應(yīng)程序，準(zhǔn)確預(yù)測傳播時間和路徑，方便采取有效措施，減少傳染病的患病率。流感的準(zhǔn)確預(yù)測是利用大數(shù)據(jù)技術(shù)成功案例。谷歌公司對流感準(zhǔn)確預(yù)測的成功案例是大數(shù)據(jù)技術(shù)的應(yīng)用。谷歌公司把美國最常使用的搜索條目。與流感疫情在美國疾病預(yù)防控制中心的數(shù)據(jù)相比，確診了是否感染流感。人們通過使用特定的如“咳嗽和發(fā)熱藥”搜索詞，便獲得流感治療的互聯(lián)網(wǎng)信息，建立了特定的搜索條件和時間空間與流感之間聯(lián)系。比美國疾病控制和預(yù)防中心的數(shù)據(jù)提前一周。檢測流感傳播路徑，他們的判斷很及時。近年來，醫(yī)療行業(yè)面臨著海量數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)，許多國家都在積極推動醫(yī)療信息化的發(fā)展。因此，大數(shù)據(jù)技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用前景十分廣闊。

五、結(jié)束語

大數(shù)據(jù)技術(shù)在醫(yī)療領(lǐng)域的大規(guī)模應(yīng)用尚不完全成熟，但隨著高速網(wǎng)絡(luò)、云計算中心等基礎(chǔ)設(shè)施建設(shè)日趨完善和大數(shù)據(jù)技術(shù)的發(fā)展，醫(yī)學(xué)領(lǐng)域發(fā)展的趨勢，將是推動大數(shù)據(jù)技術(shù)的個性化、創(chuàng)新化，便利化醫(yī)療。云計算、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術(shù)的快速發(fā)展，全球范圍內(nèi)數(shù)據(jù)增長規(guī)模越來越大，大數(shù)據(jù)將被應(yīng)用到各行各業(yè)，不僅改變了傳統(tǒng)的數(shù)據(jù)管理模式，帶來了新的思維、業(yè)務(wù)轉(zhuǎn)型和管理創(chuàng)新，提高企業(yè)和公共部門的生產(chǎn)力和競爭力，也會帶來巨大的經(jīng)濟(jì)和社會價值。大數(shù)據(jù)已成為新發(fā)明和新服務(wù)的來源，是社會新的財富。

作者：郭群 單位：遼寧對外經(jīng)貿(mào)學(xué)院信息管理系

參考文獻(xiàn)：

［1］張德豐.大數(shù)據(jù)走向云計算［M］.北京：人民郵電出版社.2014.4.1.