前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇數(shù)據(jù)解決方案范文,相信會(huì)為您的寫作帶來幫助,發(fā)現(xiàn)更多的寫作思路和靈感。
隨著RFID的應(yīng)用普及,RFID與傳統(tǒng)應(yīng)用系統(tǒng)的交互與協(xié)同成為了中間件的一大課題之一。SAP公司推出的AII(Auto ID Solution)是一個(gè)網(wǎng)絡(luò)化的集成中間件,能夠以驚人的速度處理海量的Tag 數(shù)據(jù),并提供數(shù)據(jù)獲取、數(shù)據(jù)建模、數(shù)據(jù)過濾、數(shù)據(jù)歸并、數(shù)據(jù)存儲(chǔ)乃至數(shù)據(jù)聯(lián)接等數(shù)據(jù)處理功能。 AII同時(shí)提供雙向的數(shù)據(jù)交互功能,從而能夠?qū)崿F(xiàn)比如實(shí)時(shí)的價(jià)格更新、產(chǎn)品召回、實(shí)時(shí)道路指引等功能。
AII技術(shù)功能介紹
AII作為連接RFID技術(shù)的中間件解決方案,主要包括下幾個(gè)功能模塊:
聯(lián)接模型(Association Model) AII 的數(shù)據(jù)核心是聯(lián)接模型。任何一個(gè)聯(lián)接模型的實(shí)例就是從RFID Reader和其他RF信息收集系統(tǒng)返回的系統(tǒng)環(huán)境狀態(tài)和實(shí)際連接信息數(shù)據(jù)的一個(gè)具體化展現(xiàn)(實(shí)例),其架構(gòu)精確地表現(xiàn)了需要被監(jiān)控的業(yè)務(wù)邏輯和物理世界。聯(lián)接模型是對(duì)業(yè)務(wù)邏輯和物理世界非常好的一個(gè)抽象。
企業(yè)系統(tǒng)適配器(Enterprise System Adaptor) 企業(yè)系統(tǒng)適配器提供了雙向數(shù)據(jù)交換的功能,并且能夠非常方便地整合SAP相關(guān)產(chǎn)品的系統(tǒng)應(yīng)用,當(dāng)然也同時(shí)支持非SAP系統(tǒng)的企業(yè)應(yīng)用整合。適配器所提供的是一個(gè)輕量級(jí)的整合服務(wù),是企業(yè)信息系統(tǒng)和全局信息總線(Global Information Bus)之間的橋梁。
全局對(duì)象數(shù)據(jù)引擎(Global Smart-Items Data Engine) 全局?jǐn)?shù)據(jù)引擎具有對(duì)所有被跟蹤的應(yīng)用對(duì)象(Smart-Items)進(jìn)行全局?jǐn)?shù)據(jù)維護(hù)的功能,包括對(duì)象的應(yīng)用數(shù)據(jù)、歷史信息,以及對(duì)象與企業(yè)應(yīng)用架構(gòu)之間的關(guān)系等等; 同時(shí),在需要的情況下,可以提供數(shù)全局?jǐn)?shù)據(jù)配對(duì)和數(shù)據(jù)整合的功能。
本地對(duì)象數(shù)據(jù)引擎(Local smart-Items Data Engine) 本地對(duì)象數(shù)據(jù)引擎有著和全局對(duì)象數(shù)據(jù)引擎相同的結(jié)構(gòu)和類似的功能,但是它只提供和維護(hù)本地對(duì)象的數(shù)據(jù),本地對(duì)象數(shù)據(jù)引擎與數(shù)據(jù)總線相連,為整個(gè)系統(tǒng)提供數(shù)據(jù)。
全局?jǐn)?shù)據(jù)總線(Global Information Bus) 全局?jǐn)?shù)據(jù)總線功能是一個(gè)中央數(shù)據(jù)集成控制器,提供不同企業(yè)應(yīng)用系統(tǒng)的對(duì)象(Smart-Items) 之間的數(shù)據(jù)集成和交換。全局?jǐn)?shù)據(jù)總線支持B2B類型的文檔交換、基于-訂閱模式的事務(wù)操作、乃至實(shí)時(shí)的點(diǎn)對(duì)點(diǎn)通信。
本地?cái)?shù)據(jù)總線(Local Information Bus) 本地?cái)?shù)據(jù)總線與全局?jǐn)?shù)據(jù)總線類似,提供基于-訂閱模式和點(diǎn)對(duì)點(diǎn)模式的通信,然而本地?cái)?shù)據(jù)總線提供對(duì)本地?cái)?shù)據(jù)的交換和消息的控制。對(duì)本地?cái)?shù)據(jù)的處理效率和對(duì)本地消息的響應(yīng)速度優(yōu)于全局?jǐn)?shù)據(jù)總線。它將對(duì)本地提交的數(shù)據(jù)和消息根據(jù)本地規(guī)則作出處理和整合,并按照規(guī)則和路徑提交到全局總線或者數(shù)據(jù)/消息接受者; 對(duì)于有些數(shù)據(jù),在傳輸?shù)奖镜乜偩€前,已經(jīng)經(jīng)過了相應(yīng)的控制引擎或者數(shù)據(jù)引擎的處理。
控制引擎(Control Engine) 控制引擎通過單一設(shè)備控制器和網(wǎng)絡(luò)設(shè)備控制器對(duì)設(shè)備協(xié)同運(yùn)作進(jìn)行管理,同時(shí)也有一些數(shù)據(jù)過濾的功能??刂埔婵梢酝ㄟ^數(shù)據(jù)總線來訪問設(shè)備控制器; 在實(shí)時(shí)要求的情況下,也可以直接訪問控制器(通過不同的端口,或者特定的網(wǎng)絡(luò)等方式); 可以通過配置來決定不同的訪問方式。
單一設(shè)備控制器(Simple Device Controller) 單一設(shè)備控制器在硬件抽象層面控制一些單個(gè)設(shè)備,比如RFID讀寫器??梢园阉醋魇窃O(shè)備的服務(wù)器。目前SAP的演示系統(tǒng)中,可以用它來觸發(fā)事件,然后傳輸?shù)綌?shù)據(jù)總線上。
網(wǎng)絡(luò)設(shè)備控制器(Network Device Controller) 下一代RFID產(chǎn)品(感應(yīng)器、讀寫器)將能夠直接在網(wǎng)絡(luò)上插拔使用(成為即插即用設(shè)備)。新插入的設(shè)備,將被自動(dòng)地識(shí)別、配置、管理和控制,這些都將通過網(wǎng)絡(luò)設(shè)備控制器,通過數(shù)據(jù)總線來完成。
數(shù)據(jù)讀寫適配器(Data I/O System Adapter) 數(shù)據(jù)讀寫適配器提供了數(shù)據(jù)引擎和本地控制系統(tǒng)之間的數(shù)據(jù)整合和交互功能。從而形成一個(gè)本地的閉環(huán)控制機(jī)制??梢杂迷谏a(chǎn)控制、任務(wù)-資源控制、質(zhì)量控制等系統(tǒng),和對(duì)一些第三方的系統(tǒng)集成中。
關(guān)鍵詞: 數(shù)據(jù)持久層; Spring JDBC; Hibernate技術(shù); 映射文件配置; 多層Web
中圖分類號(hào): TN911?34 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2016)14?0084?03
A simple solution for data persistence layer
LIANG Bi
(College of Computer, Sichuan University of Arts and Science, Dazhou 635000, China)
Abstract: In view of the problems existing in the data persistence layer that is implemented by Hibernate technology, such as cumbersome configuration of mapping file and inflexible data access, a simple solution based on Spring JDBC to realize data persistence layer is proposed in this paper. The process of its implementation is discussed in detail by combining with the development of practical application system. The actual development proves that the solution is feasible. It can avoid the configuration of mapping file, and it is also simple, fast, flexible and efficient to complete data persistence layer tasks. In addition, it can integrate with upper layer and lower layer, and can better meet the need of multi?layer Web application system.
Keywords: data persistence layer; Spring JDBC; Hibernate technology; mapping file configuration; multi?layer Web
0 引 言
數(shù)據(jù)持久層是經(jīng)典Web應(yīng)用程序三層架構(gòu)中非常重要的一層,它用來解決面向?qū)ο髴?yīng)用程序向關(guān)系數(shù)據(jù)庫存儲(chǔ)數(shù)據(jù)時(shí)數(shù)據(jù)類型不一致的問題,即ORIM (Object Relation Impedance Mismatch)問題[1]。其基本的解決方法是使用ORM(Object Relation Mapping)思想,該思想注重利用元數(shù)據(jù)將數(shù)據(jù)在對(duì)象與關(guān)系之間來回映射,從而確保數(shù)據(jù)訪問代碼不直接侵入域?qū)ο箢?。目前已?jīng)有許多ORM 框架技術(shù),如iBATIS,Hibernate及JPA等,并且Hibernate以其輕量級(jí)、純粹的面向?qū)ο缶幊汤砟畹葍?yōu)勢成為目前主流的持久化實(shí)現(xiàn)工具[2]。
然而,由于Hibernate對(duì)JDBC封裝得過于完整,導(dǎo)致開發(fā)人員無法靈活使用JDBC的原生SQL,所以其沒有JDBC直接訪問關(guān)系數(shù)據(jù)庫效率高;同時(shí)Hibernate遵循ORM原則,導(dǎo)致映射文件配置過于復(fù)雜,當(dāng)遇到大型項(xiàng)目時(shí)映射文件和面向?qū)ο蟠a是非常龐大且繁瑣,這直接影響到Web系統(tǒng)的性能及維護(hù);而且Hibernate處理批量數(shù)據(jù)時(shí)較弱,對(duì)于批量數(shù)據(jù)的修改和刪除不適合用Hibernate來完成。針對(duì)Hibernate這些缺陷,本文提出了一種基于Spring JDBC的數(shù)據(jù)持久層解決方案,并將其應(yīng)用于可移動(dòng)文物管理系統(tǒng)持久層部分。
1 Spring JDBC
Spring是目前流行的輕量級(jí)一站式企業(yè)應(yīng)用程序解決方案,它以一種統(tǒng)一的方式對(duì)持久化數(shù)據(jù)訪問提供支持,并將數(shù)據(jù)持久化中固定格式的代碼封裝為Spring JDBC,因而Spring JDBC本身就是對(duì)JDBC輕量封裝,它由Core,Datasource,Object和Support四個(gè)不同包組成,其中最重要的是Core包,它提供了核心功能的類,并且JdbcTemplate是該Core包中最重要的類[3]。
JdbcTemplate類通過提供相應(yīng)的模板和輔助類來完成對(duì)數(shù)據(jù)的CRUD操作,進(jìn)而解決了傳統(tǒng)JDBC對(duì)數(shù)據(jù)庫的繁瑣操作以及代碼重復(fù)的問題;它替開發(fā)人員完成了資源的創(chuàng)建以及釋放工作,從而簡化了對(duì)JDBC的使用;它還可以幫助開發(fā)人員避免一些常見的錯(cuò)誤,比如忘記關(guān)閉數(shù)據(jù)庫連接等;而且JdbcTemplate將完成JDBC核心處理流程,比如SQL語句的創(chuàng)建、執(zhí)行,而把SQL語句的生成以及查詢結(jié)果的提取工作留給開發(fā)人員的應(yīng)用代碼[4]。它還可以完成SQL查詢、更新以及調(diào)用存儲(chǔ)過程,可以對(duì)ResultSet進(jìn)行遍歷并加以提取等。并且,得益于Spring良好的隔離設(shè)計(jì),JDBC封裝類庫可以脫離Spring Context獨(dú)立使用[5],其架構(gòu)如圖1所示。
2 簡捷的數(shù)據(jù)持久層方案研究
2.1 數(shù)據(jù)持久層方案設(shè)計(jì)
源于傳統(tǒng)的Web應(yīng)用程序三層架構(gòu),將數(shù)據(jù)持久層從業(yè)務(wù)邏輯層分離出來,使其處于業(yè)務(wù)邏輯層和關(guān)系數(shù)據(jù)庫層之間,這樣持久層相當(dāng)于“橋梁”角色,然后采用Spring JDBC來實(shí)現(xiàn),其具體方案設(shè)計(jì)[6]如圖2所示。
由圖2可見,由于業(yè)務(wù)邏輯層的Java應(yīng)用程序必須通過JDBC來訪問關(guān)系數(shù)據(jù)庫中的數(shù)據(jù),因此持久層本質(zhì)上實(shí)現(xiàn)了對(duì)傳統(tǒng)JDBC API的封裝,同時(shí)它還實(shí)現(xiàn)了數(shù)據(jù)類型由Java面向?qū)ο箢愋拖驑?biāo)準(zhǔn)的SQL類型的轉(zhuǎn)換,進(jìn)而實(shí)現(xiàn)了高質(zhì)量的對(duì)象關(guān)系轉(zhuǎn)換工作,從而有效解決了對(duì)象關(guān)系阻抗失配問題。而這些任務(wù)當(dāng)前由Spring JDBC來完成。它通過借助JdbcTemplate模板類使開發(fā)人員能夠更加專注于數(shù)據(jù)訪問的具體邏輯,而不會(huì)再關(guān)注數(shù)據(jù)資源管理及異常處理等,這不僅簡化了JDBC的使用,且在一定程度上減少了錯(cuò)誤的發(fā)生,同時(shí)也使數(shù)據(jù)持久化操作變得更加簡捷靈活。
2.2 數(shù)據(jù)持久方案實(shí)現(xiàn)
本數(shù)據(jù)持久層是基于Spring JDBC來實(shí)現(xiàn)的,因此需要?jiǎng)?chuàng)建VO值對(duì)象及DAO接口,并通過DAO來持久化VO。其中,VO專門用來封裝持久層對(duì)象的數(shù)據(jù),它通過POJO類來具體實(shí)現(xiàn);DAO則用來抽象和封裝對(duì)關(guān)系數(shù)據(jù)庫中數(shù)據(jù)的訪問操作,并形成統(tǒng)一接口對(duì)外提供服務(wù),同時(shí)隱藏操作關(guān)系數(shù)據(jù)庫的實(shí)現(xiàn)細(xì)節(jié),進(jìn)而有效實(shí)現(xiàn)業(yè)務(wù)邏輯層與數(shù)據(jù)庫層的松耦合[7]。DAO本身管理著與關(guān)系數(shù)據(jù)庫的連接,內(nèi)部封裝了JDBC數(shù)據(jù)操作、事務(wù)處理等API。Spring框架為JDBC的DAO提供了JdbcDaoSupport支持類,使用該類能夠更加簡化JDBC操作,因?yàn)樵贘dbcDaoSupport中已經(jīng)提供了JdbcTemplate的變量,只要自定義類繼承JdbcDaoSupport就可以直接調(diào)用JdbcTemplate相關(guān)的方法來實(shí)現(xiàn)數(shù)據(jù)的持久化[8]。
在實(shí)際開發(fā)中,首先需要定義DAO接口,該接口對(duì)外提供CRUD操作方法;然后定義DAOImpl實(shí)現(xiàn)類,該類需要實(shí)現(xiàn)DAO接口并繼承JdbcDaoSupport,通過調(diào)用JdbcTemplate相關(guān)的方法(如update,mapRow等)來完成對(duì)關(guān)系數(shù)據(jù)庫中數(shù)據(jù)的具體操作任務(wù)[9]。業(yè)務(wù)邏輯層只需調(diào)用DAO接口中對(duì)外提供的方法,而不需要關(guān)心DAO的具體實(shí)現(xiàn)細(xì)節(jié),這樣有利于Web應(yīng)用程序在不同的持久層技術(shù)之間切換,進(jìn)而增強(qiáng)了系統(tǒng)開發(fā)的靈活性和有效性。ApplicationContext.xml配置文件中除了統(tǒng)一配置數(shù)據(jù)源及事務(wù)之外,還需要配置業(yè)務(wù)邏輯Bean,數(shù)據(jù)持久DAOImpl,并通過DI為DAOImpl注入Factory,為業(yè)務(wù)邏輯Bean注入DAOImpl,這樣有機(jī)地完成Web應(yīng)用程序中各Bean組件的組裝和集成。
3 簡捷的數(shù)據(jù)持久層方案應(yīng)用
文物是人類在歷史發(fā)展過程中遺留下來的遺物、遺跡,它是人類寶貴的歷史文化遺產(chǎn)[10]。隨著新文物的出土和發(fā)現(xiàn),以及新技術(shù)的引進(jìn),傳統(tǒng)的文物管理方式已無法滿足當(dāng)今文物管理的需要,開發(fā)一個(gè)響應(yīng)速度快、拓展性強(qiáng)和維護(hù)性好的可移動(dòng)文物管理系統(tǒng)非常必要,通過它來管理已經(jīng)向外公開的可移動(dòng)文物,讓更多的人對(duì)它們有所了解和認(rèn)識(shí),進(jìn)而推進(jìn)文物的普及工作。為了快捷實(shí)現(xiàn)該系統(tǒng)的數(shù)據(jù)訪問,增強(qiáng)用戶體驗(yàn),將所提出的數(shù)據(jù)持久層方案應(yīng)用到本系統(tǒng)的持久層部分,具體實(shí)施過程如下:
3.1 環(huán)境搭建
環(huán)境搭建是具體使用某種框架技術(shù)最重要的一步,在此過程中根據(jù)不同框架技術(shù)所完成的具體工作不一樣,但一般都有導(dǎo)入相關(guān)的Jar包,創(chuàng)建和配置相關(guān)文件,并進(jìn)行框架的初始化等工作。由于Spring JDBC使用相對(duì)簡單,因此在可移動(dòng)文物管理系統(tǒng)持久層部分的環(huán)境搭建中,只需進(jìn)行相關(guān)Jar包的導(dǎo)入即可,如導(dǎo)入spring.jar,commons?logging,commons?dbcp.jar,commons?pool.jar,commons?annotation.jar和jtds?1.2.jar等。
3.2 配置ApplicationContex.xml
ApplicationContex.xml文件是整個(gè)可移動(dòng)文物管理系統(tǒng)的基礎(chǔ),它所起的作用至關(guān)重要,其能將本系統(tǒng)的持久層、業(yè)務(wù)邏輯層及其他各層有機(jī)的融合在一起,并實(shí)現(xiàn)對(duì)系統(tǒng)中所有Bean的有效管理。ApplicationContex.xml在本系統(tǒng)持久層部分主要完成數(shù)據(jù)源配置、事務(wù)配置及其他一些初始工作,用于保證Spring JDBC正常完成該系統(tǒng)VO的持久化任務(wù),其關(guān)鍵配置如下:
3.3 創(chuàng)建VO值對(duì)象
一個(gè)VO通過一個(gè)簡單的Java對(duì)象即POJO來實(shí)現(xiàn),一般情況下,一個(gè)POJO就表征了與數(shù)據(jù)表里某條記錄相對(duì)應(yīng)的實(shí)體,它由實(shí)體的一些屬性及屬性的訪問方法組成,其中除了無意義的主屬性只能被獲取外,每一個(gè)屬性都對(duì)應(yīng)著兩個(gè)外部對(duì)象訪問的方法,即get()和set()。本可移動(dòng)文物管理系統(tǒng)相關(guān)的POJO有User.java,Admin.java,CulturalRelic.java,Picture.java,Video.java,Msg.java和News.java等,其中3.4 創(chuàng)建DAO接口及實(shí)現(xiàn)類
根據(jù)本文所提出的數(shù)據(jù)持久層方案,使用DAO設(shè)計(jì)模式來完成可移動(dòng)文物管理系統(tǒng)持久層任務(wù)。DAO模式的實(shí)現(xiàn)包括DAO接口和DAOImpl實(shí)現(xiàn)類。其中,DAO接口負(fù)責(zé)聲明訪問特定POJO所對(duì)應(yīng)的抽象業(yè)務(wù)邏輯方法,DAOImpl實(shí)現(xiàn)類則負(fù)責(zé)使用Spring JDBC封裝的JdbcTemplate來具體實(shí)現(xiàn)DAO接口中聲明的抽象方法,這樣可以減少組件間的耦合度。在本系統(tǒng)中,創(chuàng)建的DAO接口有UserDAO.java,AdminDAO.java,CulturalRelicDAO.java,PictureDAO.java,VideoDAO.java,MsgDAO.java和NewsDAO.java等,然后通過調(diào)用JdbcTemplate提供的方法對(duì)這些DAO接口進(jìn)行實(shí)現(xiàn)。其中CulturalRelicDAO的實(shí)現(xiàn)類CulturalRelicDAOImpl里刪除可移動(dòng)文物的方法核心代碼如下:
4 結(jié) 語
本文使用Spring JDBC來設(shè)計(jì)和實(shí)現(xiàn)了Web應(yīng)用程序中的數(shù)據(jù)持久層,并將其應(yīng)用于可移動(dòng)文物管理系統(tǒng)持久層部分,解決了目前主流的Hibernate在完成持久層任務(wù)時(shí)所遇到的一些問題。通過實(shí)際應(yīng)用開發(fā)證明,該持久層方案是正確可行的,且具有如下三方面特征:
(1) Spring JDBC通過借助JdbcTemplate可以執(zhí)行對(duì)關(guān)系數(shù)據(jù)的CRUD操作,不僅代碼簡單、容易編寫,而且相對(duì)于Hibernate對(duì)JDBC全封裝模式更為靈活。
(2) Spring JDBC繼續(xù)了以前JDBC的SQL訪問方式,不需要在HQL和SQL之間相互轉(zhuǎn)換,可以直接操作關(guān)系數(shù)據(jù)庫,進(jìn)而提高了數(shù)據(jù)訪問速度,增強(qiáng)了用戶體驗(yàn)。
(3) 該方案沒有*.hbm.xml映射文件繁瑣配置,避免了運(yùn)行時(shí)產(chǎn)生大量的冗余數(shù)據(jù)存放于內(nèi)存,進(jìn)而提高了系統(tǒng)性能以及系統(tǒng)的開發(fā)效率??偟膩碇v,基于Hibernate技術(shù)實(shí)現(xiàn)Web應(yīng)用程序中的數(shù)據(jù)持久層已出現(xiàn)較多問題,而通過Spring JDBC來完成數(shù)據(jù)持久層任務(wù),具有簡單、快捷、靈活及高效等特性,因此值得進(jìn)一步推廣使用。
參考文獻(xiàn)
[1] 閆宏印,張衛(wèi)爭,劉超慧.開源框架下Web應(yīng)用分層的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì),2008,29(23):6023?6025.
[2] 夏斌,李志蜀.基于Hibernate框架的數(shù)據(jù)持久層的研究及應(yīng)用[J].計(jì)算機(jī)應(yīng)用,2008(9):2446?2448.
[3] Spring Reference Documentation. Introduction to the Spring framework [R]. [S.l.]: Spring Reference Documentation, 2015.
[4] Spring JDBC Reference Documentation. Introduction to the Spring JDBC [EB/OL]. [2013?12?24]. http://docs.spring.io/spring?data/jdbc/docs.
[5] 張俐,張維璽.基于Spring和JDBC的蔬菜運(yùn)銷管理系統(tǒng)在數(shù)據(jù)持久層的應(yīng)用[J].安徽農(nóng)業(yè)科學(xué),2012(7):4401?4403.
[6] 張少應(yīng),程傳旭.基于Hibernate持久化層的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與發(fā)展,2014(12):101?104.
[7] 劉德山,楊彬彬.基于Hibernate框架的數(shù)據(jù)持久層架構(gòu)設(shè)計(jì)及應(yīng)用[J].微型機(jī)與應(yīng)用,2011,30(15):12?14.
[8] 高劍,朱程榮.Spring框架在數(shù)據(jù)持久層的應(yīng)用研究[J].微機(jī)發(fā)展,2005,15(11):106?108.
大數(shù)據(jù)在2012年備受關(guān)注,主要是由需求和技術(shù)兩方面因素所決定的。在需求方面,一方面是因?yàn)槠髽I(yè)在經(jīng)過一段時(shí)期的信息化建設(shè)后,積累了大量的數(shù)據(jù)資產(chǎn),迫切需要讓這些數(shù)據(jù)產(chǎn)生價(jià)值。另一個(gè)方面,海量非結(jié)構(gòu)化數(shù)據(jù)隨著社交網(wǎng)絡(luò)、移動(dòng)應(yīng)用的普及而產(chǎn)生,如何分析這些非結(jié)構(gòu)化數(shù)據(jù)并使其產(chǎn)生價(jià)值,成為企業(yè)所面臨的新的挑戰(zhàn)。
在技術(shù)方面,內(nèi)存計(jì)算技術(shù)的成熟,使得企業(yè)實(shí)時(shí)分析海量數(shù)據(jù)成為可能。Hadoop技術(shù)的完善,為非結(jié)構(gòu)化數(shù)據(jù)分析提供了可能。
在大數(shù)據(jù)解決方案方面,不能不提軟硬件一體機(jī)。這兩年,具有簡化IT、降低IT運(yùn)維成本優(yōu)勢的軟硬件一體機(jī)越來越受到供應(yīng)商和用戶的青睞。值得一提的是,當(dāng)前的軟硬件一體機(jī)中,很多都是大數(shù)據(jù)解決方案:最早推出軟硬件一體機(jī)的甲骨文公司的第一款軟硬件一體機(jī)產(chǎn)品Exadata數(shù)據(jù)庫一體機(jī)就與大數(shù)據(jù)相關(guān),甲骨文后來推出的Exalytics商業(yè)智能一體機(jī)和大數(shù)據(jù)一體機(jī)都是用于數(shù)據(jù)分析的;被SAP視為革命性的產(chǎn)品SAP HANA屬于內(nèi)存計(jì)算一體機(jī),其最大的優(yōu)勢在于可實(shí)現(xiàn)海量數(shù)據(jù)的實(shí)時(shí)分析;IBM今年推出的PureSystem系列一體機(jī)中,就有PureData;微軟與惠普聯(lián)合推出的BI一體機(jī),也是用于數(shù)據(jù)分析的……
盡管市場已經(jīng)非?;馃幔钱?dāng)前大數(shù)據(jù)市場應(yīng)該尚屬于啟動(dòng)階段,因?yàn)榇蟛糠钟脩魧?duì)大數(shù)據(jù)僅僅有想法而沒有真正的行動(dòng),而他們對(duì)于大數(shù)據(jù)分析的需求是顯而易見的。相關(guān)的解決方案也有待完善,特別是針對(duì)非結(jié)構(gòu)化數(shù)據(jù)分析的解決方案。
IBM PureData
作為IBM PureSystems專家集成系統(tǒng)家族的新成員,PureData能夠幫助企業(yè)在幾分鐘內(nèi)完成對(duì)PB數(shù)量級(jí)大數(shù)據(jù)的管理和分析,高效獲取洞察力,從而實(shí)現(xiàn)企業(yè)市場、銷售等各部門業(yè)務(wù)目標(biāo)的快速推進(jìn),并幫助各行各業(yè)的企業(yè)解決幾大難題:如何利用更簡便、經(jīng)濟(jì)的方式分析業(yè)務(wù)數(shù)據(jù),了解客戶購買行為,減少客戶流失,開展需要大量數(shù)據(jù)支持的市場推廣活動(dòng)以及實(shí)時(shí)發(fā)現(xiàn)欺詐行為。
不同于其他數(shù)據(jù)系統(tǒng),PureData能夠?qū)⑾到y(tǒng)安裝和配置的時(shí)間從24天減至24小時(shí),將復(fù)雜的分析時(shí)間從數(shù)小時(shí)驟降至數(shù)分鐘,并實(shí)現(xiàn)在單個(gè)系統(tǒng)上管理100多個(gè)數(shù)據(jù)庫的卓越性能。通過PureData系統(tǒng),企業(yè)得以在傳統(tǒng)IT環(huán)境或云環(huán)境中為業(yè)務(wù)用戶提供高性能的數(shù)據(jù)服務(wù),在不到10天的時(shí)間里完成Web應(yīng)用的部署,而同樣的任務(wù)過去至少需要6個(gè)月才能完成。
針對(duì)特定工作負(fù)載,PureData共有三個(gè)型號(hào),分別是PureData System for Transactions(PureData事務(wù)系統(tǒng)或PureData交易系統(tǒng))、PureData System for Analytics(PureData分析系統(tǒng))和PureData System for Operational Analytics(PureData運(yùn)營分析系統(tǒng))。
目前,60多家ISV(獨(dú)立軟件供應(yīng)商)已經(jīng)表示將全力支持PureData。PureData將為這種開放的合作模式提供新的平臺(tái),激勵(lì)更多合作伙伴開發(fā)適用于PureData的解決方案。同時(shí),IBM還將在這些解決方案和應(yīng)用的基礎(chǔ)上推出數(shù)種新模式,涵蓋社交業(yè)務(wù)、資產(chǎn)管理和業(yè)務(wù)流程管理,全面簡化軟硬件資源的配置和管理,為20多個(gè)行業(yè)應(yīng)用領(lǐng)域提供支持。
IBM大數(shù)據(jù)平臺(tái)
IBM充分發(fā)揮其整合的優(yōu)勢,結(jié)合信息管理、業(yè)務(wù)分析等領(lǐng)先的軟件提出了“大數(shù)據(jù)平臺(tái)”架構(gòu),為各行業(yè)企業(yè)選擇和構(gòu)建大數(shù)據(jù)解決方案提供了全面的技術(shù)支持。IBM大數(shù)據(jù)平臺(tái)突破了傳統(tǒng)數(shù)據(jù)倉庫和數(shù)據(jù)管理理念,能夠?yàn)槠髽I(yè)組織提供實(shí)時(shí)分析信息流和因特網(wǎng)范圍信息源的能力,讓這些企業(yè)實(shí)現(xiàn)更為經(jīng)濟(jì)、高效的大數(shù)據(jù)管理,并為在此之上的業(yè)務(wù)分析奠定堅(jiān)實(shí)的基礎(chǔ)。
IBM大數(shù)據(jù)平臺(tái)的四大核心能力包括Hadoop系統(tǒng)、流計(jì)算、數(shù)據(jù)倉庫和信息整合與治理:
·IBM在Hadoop系統(tǒng)領(lǐng)域的代表產(chǎn)品是InfoSphere BigInsights。IBM將其在數(shù)據(jù)管理上的豐富經(jīng)驗(yàn)與Hadoop開源平臺(tái)高效整合,使得BigInsights相比普通的Hadoop開源工具的可用性、可管理性、安全性得以大大提高,成為最主要的靜態(tài)大數(shù)據(jù)分析工具和平臺(tái);
·IBM在流計(jì)算領(lǐng)域的代表產(chǎn)品是InfoSphere Streams,它是目前業(yè)界獨(dú)有的流數(shù)據(jù)處理技術(shù)。InfoSphere Streams能夠在諸如氣象信息、通信信息、金融交易數(shù)據(jù)的管理中動(dòng)態(tài)捕捉信息,進(jìn)行實(shí)時(shí)分析,為靜態(tài)數(shù)據(jù)的處理提供有效補(bǔ)充。
·IBM在數(shù)據(jù)倉庫領(lǐng)域的代表產(chǎn)品是在線交易型數(shù)據(jù)倉庫InfoSphere Warehouse和分析型數(shù)據(jù)倉庫Netezza。Netezza可將大量數(shù)據(jù)整合到統(tǒng)一平臺(tái)上,計(jì)算能力高達(dá)TB級(jí)。
·信息整合與治理是IBM在業(yè)界獨(dú)有的方法論和技術(shù),其代表產(chǎn)品是Optim和Guardium。近期推出的Guardium 9能夠?qū)⑷鏒B2這樣的傳統(tǒng)關(guān)系型數(shù)據(jù)倉庫和基于Hadoop的分布式存儲(chǔ)系統(tǒng)進(jìn)行統(tǒng)一管理,并提供完整的數(shù)據(jù)生命周期管控。
微軟SQL Server 2012
微軟SQL Server 在市場上有著良好的口碑,是全球使用較為廣泛的數(shù)據(jù)庫與商業(yè)智能產(chǎn)品。微軟SQL Server提供了對(duì)混合IT環(huán)境的支持,全面支持私有云和公有云,并可實(shí)現(xiàn)平滑遷移,滿足企業(yè)實(shí)現(xiàn)數(shù)據(jù)庫以及應(yīng)用擴(kuò)展的需要。
作為云就緒信息平臺(tái),SQL Server能夠滿足企業(yè)關(guān)鍵業(yè)務(wù)應(yīng)用環(huán)境所提出的高穩(wěn)定性、高性能、高安全和易管理等需求,同時(shí)提供全面的商業(yè)智能及數(shù)據(jù)倉庫解決方案,幫助企業(yè)更好地挖掘數(shù)據(jù)背后的知識(shí),提供強(qiáng)大的工具實(shí)現(xiàn)并展現(xiàn)數(shù)據(jù)分析結(jié)果,且能根據(jù)企業(yè)需要實(shí)施個(gè)性化的云以及大數(shù)據(jù)解決方案。
作為微軟的信息平臺(tái)產(chǎn)品,SQL Server在數(shù)據(jù)處理與分析市場一直處于領(lǐng)導(dǎo)地位。SQL Server是全面的數(shù)據(jù)庫、數(shù)據(jù)倉庫、商業(yè)智能解決方案。它不僅提供全面的滿足OLTP處理的功能,而且提供多種組件以滿足不同規(guī)??蛻舻亩喾N需求。它是第一個(gè)帶有商業(yè)智能全套組件的數(shù)據(jù)庫產(chǎn)品,在數(shù)據(jù)分析,特別是OLAP領(lǐng)域有著極好的口碑。
針對(duì)大數(shù)據(jù),SQL Server具有自己本地以及云端解決方案,與微軟強(qiáng)大的商業(yè)智能組件以及前端展現(xiàn)方式相結(jié)合。
國泰君安證券股份有限公司已經(jīng)借助微軟SQL Server 2012提升了數(shù)據(jù)分析能力,實(shí)現(xiàn)了對(duì)用戶的精準(zhǔn)服務(wù)與趨勢跟蹤。國泰君安是目前國內(nèi)規(guī)模最大、營業(yè)范圍最寬、機(jī)構(gòu)分布最廣的證券公司之一。基于以往使用 SQL Server 產(chǎn)品的良好經(jīng)驗(yàn),以及客戶數(shù)據(jù)建模、多維分析與鉆取、動(dòng)態(tài)報(bào)表分析與展現(xiàn)等領(lǐng)域的應(yīng)用需求,國泰君安選用微軟 SQL Server 2012來搭建新一代的零售客戶BI分析系統(tǒng)。國泰君安充分利用新一代 SQL Server提供的對(duì)大數(shù)據(jù)量的數(shù)據(jù)分析及計(jì)算能力,結(jié)合Power View及PowerPivot 的易用性,更高效、更自主地發(fā)現(xiàn)業(yè)務(wù)數(shù)據(jù)的變化及趨勢,提高針對(duì)零售客戶的業(yè)務(wù)洞察力,優(yōu)化以客戶為中心的證券服務(wù)。
SAP實(shí)時(shí)數(shù)據(jù)平臺(tái)
SAP實(shí)時(shí)數(shù)據(jù)平臺(tái)是一套緊密集成并優(yōu)化,專為應(yīng)對(duì)當(dāng)今企業(yè)數(shù)據(jù)管理的最新挑戰(zhàn)的領(lǐng)先技術(shù)平臺(tái)。
憑借革命性的創(chuàng)新產(chǎn)品SAP HANA與業(yè)界領(lǐng)先的Sybase數(shù)據(jù)管理產(chǎn)品,SAP實(shí)時(shí)數(shù)據(jù)平臺(tái)這套全方位集成、實(shí)時(shí)處理的平臺(tái),在包括數(shù)據(jù)交易、遷移、存儲(chǔ)、處理和分析等在內(nèi)的信息生命周期的不同階段,不僅能夠幫助企業(yè)用戶管理海量數(shù)據(jù)存儲(chǔ),即時(shí)處理高速流量數(shù)據(jù),實(shí)現(xiàn)智能數(shù)據(jù)流動(dòng),數(shù)據(jù)可視化消費(fèi),而且還可以幫助用戶大大降低基礎(chǔ)架構(gòu)的復(fù)雜性,在滿足應(yīng)用基本的設(shè)計(jì)和藍(lán)圖管理需求的同時(shí),為下一代大數(shù)據(jù)應(yīng)用和分析提供卓越性能,持續(xù)保證對(duì)云計(jì)算和移動(dòng)應(yīng)用的平臺(tái)支持,從而有效降低成本。
值得一提的是,所有這些平臺(tái)功能的交付,都將在盡可能不影響客戶現(xiàn)有應(yīng)用的前提下進(jìn)行。
作為SAP實(shí)時(shí)數(shù)據(jù)平臺(tái)的核心,SAP HANA獨(dú)具創(chuàng)新性,并已得到市場的充分驗(yàn)證。SAP HANA不僅能幫助客戶以快10萬倍的速度獲取和傳遞信息,還將為企業(yè)信息系統(tǒng)提供強(qiáng)勁動(dòng)力,通過技術(shù)創(chuàng)新促進(jìn)業(yè)務(wù)發(fā)展,最終幫助企業(yè)以全新的思路拓展業(yè)務(wù),達(dá)成卓越績效。
Teradata Aster大數(shù)據(jù)綜合分析平臺(tái)
Teradata Aster大數(shù)據(jù)綜合分析平臺(tái)是業(yè)內(nèi)首款集成Teradata Aster以及Apache Hadoop的大數(shù)據(jù)解決方案,整合了MapReduce和Hadoop的技術(shù)優(yōu)勢。
作為卓越的企業(yè)級(jí)平臺(tái),Teradata Aster大數(shù)據(jù)綜合分析平臺(tái)使用了業(yè)內(nèi)獨(dú)有的SQL-MapReduce接口語言,以及全面的MapReduce 分析功能庫。該分析庫內(nèi)嵌50多項(xiàng)預(yù)建的MapReduce功能,提供開箱即用的圖形、文本、行為、營銷分析,以及更多分析功能。
作為一個(gè)真正采用混合架構(gòu)的平臺(tái),Teradata Aster大數(shù)據(jù)綜合分析平臺(tái)包含Aster Database、Aster SQL-MapReduce和Apache Hadoop。由于深度集成了Aster與Apache Hadoop平臺(tái),用戶無需接受復(fù)雜的培訓(xùn)即可通過SQL-H連接器和SQL-MapReduce使用標(biāo)準(zhǔn)SQL訪問Aster和Hadoop數(shù)據(jù)進(jìn)行分析平臺(tái)。
與市場上其他典型平臺(tái)相比,該平臺(tái)的數(shù)據(jù)吞吐量及分析速度可分別提高19倍及35倍。
Oracle Exadata X3 Database In-Memory Machine
Oracle Exadata X3 Database In-Memory Machine是Oracle Exadata數(shù)據(jù)庫云服務(wù)器的最新升級(jí)產(chǎn)品。
Oracle Exadata X3 Database In-Memory Machine是甲骨文云平臺(tái)的關(guān)鍵組件。Oracle Exadata X3-2和X3-8 Database In-Memory Machine均可在閃存和隨機(jī)存儲(chǔ)器(RAM)中存儲(chǔ)多達(dá)數(shù)百TB的壓縮用戶數(shù)據(jù),幾乎可以消除由磁盤驅(qū)動(dòng)器減速而產(chǎn)生的讀\寫功能運(yùn)維費(fèi)用,從而使Exadata X3系統(tǒng)成為應(yīng)對(duì)云計(jì)算中不同類型和不斷變化的工作負(fù)載的理想數(shù)據(jù)庫平臺(tái)。
為了以最低成本實(shí)現(xiàn)最高性能,Oracle Exadata X3 Database In-Memory Machine采用了多個(gè)存儲(chǔ)層次,可自動(dòng)將所有活動(dòng)數(shù)據(jù)轉(zhuǎn)移到閃存和隨機(jī)存儲(chǔ)器中,同時(shí)將活動(dòng)性較低的數(shù)據(jù)保留在低成本的磁盤上。
關(guān)鍵字:招生;數(shù)據(jù)庫;網(wǎng)上遠(yuǎn)程錄??;數(shù)據(jù)處理;VFP
一、關(guān)鍵問題與主要業(yè)務(wù)分析
全國高校均采用清華同方招生錄取系統(tǒng),該系統(tǒng)的打印通知書功能較差,不夠靈活性;也沒有完善的查詢、統(tǒng)計(jì)和匯總功能;該系統(tǒng)不能實(shí)現(xiàn)秋季、成人錄取新生的數(shù)據(jù)共存,錄取秋季考生數(shù)據(jù)必須要在計(jì)算機(jī)中刪除以往考生的數(shù)據(jù),某一時(shí)刻只能錄取一個(gè)類別的考生,以往錄取數(shù)據(jù)不能保留,雖然各層次錄取軟件在本質(zhì)上是一致的,教育部和省招辦也要求一定要卸載以往安裝的錄取軟件,最好是重裝系統(tǒng),因?yàn)橹恍遁d錄取軟件是無法清除注冊(cè)表文件信息的,這就無法實(shí)現(xiàn)院校對(duì)全年錄取各類新生數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。另外清華同方招生錄取系統(tǒng)無法解決專業(yè)名稱統(tǒng)一的問題,因?yàn)樵盒km然前期給各省招辦計(jì)劃部門提供統(tǒng)一的各專業(yè)名稱,但各省招辦有可能執(zhí)行國標(biāo)名錄庫中的各專業(yè)名稱,如:院校提供招生專業(yè)為“國際物流管理”,但國標(biāo)專業(yè)名錄庫中該專業(yè)的名稱為“物流管理”;再有由于清華同方招生錄取系統(tǒng)采用了數(shù)據(jù)庫中泛式的處理方式,從該系統(tǒng)下載的數(shù)據(jù)是格式化數(shù)據(jù),招生辦工作人員很難懂其含義,需要另一套處理機(jī)制匯總、轉(zhuǎn)意這些數(shù)據(jù),使一般招生工作人員能看得懂、能對(duì)其操作處理;同樣清華同方招生錄取系統(tǒng)也無法實(shí)現(xiàn)將部分?jǐn)?shù)據(jù)分發(fā)到各系部、郵局和銀行,無法體現(xiàn)院校個(gè)體差異性,為完成上述沒有完成的功能,本人為天津?yàn)I海職業(yè)學(xué)院招生辦設(shè)計(jì)開發(fā)了招生信息處理系統(tǒng),該系統(tǒng)的應(yīng)用能夠解決上述所有問題,并且能夠?qū)崿F(xiàn)自動(dòng)化處理,節(jié)省人力和時(shí)間,提高準(zhǔn)確性和效率。
二、解決方案
雖然該系統(tǒng)只是針對(duì)天津?yàn)I海職業(yè)學(xué)院招生設(shè)計(jì)的,但它實(shí)際上是針對(duì)清華同方招生錄取系統(tǒng)的二次開發(fā),適用任何一所采用清華同方招生錄取軟件的高校??紤]到各個(gè)院校計(jì)算機(jī)硬件條件差別較大,開發(fā)沒有使用現(xiàn)在較流行的復(fù)雜架構(gòu)和大型數(shù)據(jù)庫,而是采用可以在所有機(jī)器上運(yùn)行的VFP中小型數(shù)據(jù)庫。又由于招生信息處理沒有網(wǎng)絡(luò)需求,只在單機(jī)上運(yùn)行就可以,所以開發(fā)采用單機(jī)版,而不是網(wǎng)絡(luò)版。這樣就最大程度保證其安全性,不上網(wǎng)安全性有較大提高。
(一)該系統(tǒng)主要包括如下功能模塊及功能:
1.分科類模塊:該模塊能實(shí)現(xiàn)普通類不分文理綜合科類、藝術(shù)科類、只有藝術(shù)文科類、成人科類、普通類分文和理模塊科類的數(shù)據(jù)匯總。這個(gè)模塊主要是分科類從清華同方招生錄取系統(tǒng)收集數(shù)據(jù),最終生成一個(gè)匯總數(shù)據(jù)庫,并在匯總數(shù)據(jù)庫中加入科類、所在省份、系別字段和數(shù)據(jù)。規(guī)范化數(shù)據(jù)格式,如將清華同方招生錄取系統(tǒng)中的錄取專業(yè)前兩位所表示專業(yè)志愿順序號(hào)去除。
2.匯總模塊:該模塊能實(shí)現(xiàn)將各類各省中有用的數(shù)據(jù)加入?yún)R總庫中,添加前對(duì)數(shù)據(jù)進(jìn)行格式化,如添加序號(hào)、錄取時(shí)間、錄取層次、學(xué)習(xí)形式。
3.打印名冊(cè)模塊:該模塊能實(shí)現(xiàn)分省分科類打印數(shù)據(jù)名冊(cè),數(shù)據(jù)先按錄取專業(yè)排序,再按姓名排序,均為遞增!最后添加序號(hào),左側(cè)裝訂2厘米!字段包含:序號(hào)、考生號(hào)、姓名、性別、分?jǐn)?shù)、錄取專業(yè)、系別,之后再打印。
4.生成WEB數(shù)據(jù)模塊:該模塊能生成websj.xls,這個(gè)文件可以被ACCESS等接收,用于上傳網(wǎng)上查詢的數(shù)據(jù)基礎(chǔ)。
5.生成郵局?jǐn)?shù)據(jù)模塊:該模塊能生成“省份+郵局.dbf”,包含考生號(hào)、姓名、地址、郵編、聯(lián)系電話等信息,用于郵局給考生寄送通知書。
6.生成各系名冊(cè)模塊:該模塊能將各系的新生進(jìn)行匯總成一個(gè)文件,用于分發(fā)給各系報(bào)到時(shí)使用。
7.生成農(nóng)行數(shù)據(jù)模塊:該模塊能生成“省份+農(nóng)行.dbf”,包含序號(hào)、考生號(hào)、姓名、身份證號(hào)等信息,用于農(nóng)行給考生制作校園一卡通。
8.統(tǒng)計(jì)一志愿率和本省錄取率:該模式能生成各省各科類的計(jì)劃數(shù)、錄取數(shù)、一志愿率、錄取率等統(tǒng)計(jì)信息。
9.各專業(yè)名稱統(tǒng)一模塊:該模塊能將所有省份的專業(yè)名稱統(tǒng)一。
10.打印通知書模塊:該模塊能提取數(shù)據(jù)打印各省考生通知書,打印順序?yàn)橄劝翠浫I(yè)排序,再按姓名排序,均為遞增!
三、解決方案中所用的關(guān)鍵技術(shù)
1.分科類模塊
wait “1為文、理綜合;2為藝術(shù)分文、理及只有藝術(shù)文的情況;3為成人分文、理;回車或其它鍵為普通分文、理!” to aa windows at 20,40 //該語句實(shí)現(xiàn)分科類功能,將用戶的輸入存入變量aa中,作為后面的多重選擇條件的比較值,以此來區(qū)別進(jìn)入哪個(gè)模塊進(jìn)行數(shù)據(jù)處理。
ALTER TABLE aa ADD COLUMN sheng C(30) //該語句可以實(shí)現(xiàn)增加省份字符型字段,寬度30。
repl all xi with “計(jì)算機(jī)工程系” for lqzy=”計(jì)算機(jī)應(yīng)用技術(shù)”.or.lqzy=”軟件技術(shù)”.or.lqzy=”電子商務(wù)” //該語句可以實(shí)現(xiàn)為各個(gè)專業(yè)添加系別
SELECT Aa.ksh, Aa.xm, Aa.xbdm, Aa.tdcj, Aa.TDZY, Aa.lqzy, Aa.xi, Aa.sheng, Aa.kl,;
T_tdd.sfzh, T_tdd.lxdh, T_tdd.jtdz, T_tdd.yzbm, T_tdd.zxmc, Aa.kstz;
FROM aa FULL JOIN t_tdd ;
ON Aa.ksh = T_tdd.ksh;
ORDER BY Aa.lqzy, Aa.tdcj DESC, Aa.xm;
INTO TABLE &asb&asa.\匯總.dbf //從全國高校招生遠(yuǎn)程錄取子系統(tǒng)數(shù)據(jù)庫中提取數(shù)據(jù)生成匯總數(shù)據(jù)庫。
2.匯總模塊
if file(“L:\07年\07總結(jié)\2007年秋錄取名冊(cè).dbf”)=.f.//如果匯總表不存在就建立
create table L:\07年\07總結(jié)\2007年秋錄取名冊(cè)(xh n(5),ksh c(14),xm c(64),xbdm c(2),tdcj c(8),tdzy c(1),lqzy c(90),xi c(30),sheng c(30),kl c(12),sfzh c(18),lxdh c(20),jtdz c(128),;
yzbm c(6),zxmc c(128),kstz c(100),時(shí)間c(10),層次c(10),學(xué)習(xí)形式c(10),報(bào)考院校c(50),備注c(100)) //如果已經(jīng)存在匯總表,就打開已有的匯總表。
append from &asb&asa.\匯總.dbf //添加各省新生數(shù)據(jù)到匯總表中
3.統(tǒng)計(jì)一志愿率和本省錄取率
calculate avg(val(tdcj)),max(val(tdcj)),min(val(tdcj)) to yspjf,yszgf,yszdf for sheng=asa.and.時(shí)間=zdsj.and.allt(kl)==”文科(藝)” //應(yīng)用calculate綜合統(tǒng)計(jì)命令統(tǒng)計(jì)秋季藝術(shù)類最高分,最低分,平均分。
四、總結(jié)
通過使用天津?yàn)I海職業(yè)學(xué)院招生數(shù)據(jù)處理系統(tǒng),使招生的后期數(shù)據(jù)處理能力顯著增強(qiáng),效率明顯提高,以前可能要很多人幾天才能完成的工作,現(xiàn)在可以幾秒就完成,又快又準(zhǔn)確,受到天津?yàn)I海職業(yè)學(xué)院單位的好評(píng),今后繼續(xù)完善該系統(tǒng)。
參考文獻(xiàn)
[1]謝偉卡.高校招生信息管理系統(tǒng)開發(fā)與應(yīng)用研究.暨南學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版). 2001,(06) .
[2]吳洪潭,葉含笑,丁文.高校網(wǎng)上招生系統(tǒng)院校端子系統(tǒng)的設(shè)計(jì).計(jì)算機(jī)工程. 2002,(S1) .
[3]沈錫臣,陳懷楚.高校信息化建設(shè)標(biāo)準(zhǔn)規(guī)范.清華大學(xué)學(xué)報(bào)(自然科學(xué)版).2003,(04) .
兩地三中心方案(MGM)采用高性能、高容量的數(shù)據(jù)存儲(chǔ)系統(tǒng),結(jié)合磁盤層疊式(異步與同步結(jié)合)數(shù)據(jù)復(fù)制技術(shù),用于向大型企業(yè)提供高性能、靈活、可擴(kuò)展,高彈性的數(shù)據(jù)容災(zāi)備份。此方案的同城RPO(Recovery Poinl Objective,恢復(fù)點(diǎn)目標(biāo))=0,即可以確保在同城范圍提供實(shí)時(shí)鏡像數(shù)據(jù)備份恢復(fù);異地RPO最短3秒至5秒,可以盡可能地降低數(shù)據(jù)丟失幾率,根據(jù)災(zāi)難的情況還可以進(jìn)行故障切換。
如右上圖所示,兩地三中心方案由生產(chǎn)中心A、同城災(zāi)備中心B和異地災(zāi)備中心C構(gòu)成。在本地生產(chǎn)中心A中,采用大型數(shù)據(jù)存儲(chǔ)系統(tǒng)存儲(chǔ)相應(yīng)的業(yè)務(wù)數(shù)據(jù),通過數(shù)據(jù)同步復(fù)制技術(shù)將數(shù)據(jù)復(fù)制到同城災(zāi)備中心B的數(shù)據(jù)存儲(chǔ)系統(tǒng)中,實(shí)時(shí)保證數(shù)據(jù)的一致性。同時(shí)位于同城災(zāi)備中心B的數(shù)據(jù)存儲(chǔ)系統(tǒng)還會(huì)以數(shù)據(jù)異步復(fù)制技術(shù)向異地災(zāi)備中心C進(jìn)行數(shù)據(jù)鏡像,實(shí)現(xiàn)異地的數(shù)據(jù)備份及保護(hù)。當(dāng)同城災(zāi)備中心B發(fā)生故障時(shí),生產(chǎn)中心A可以向異地災(zāi)備中心C通過數(shù)據(jù)異步復(fù)制技術(shù)同步數(shù)據(jù),實(shí)現(xiàn)異地的數(shù)據(jù)備份及保護(hù)。當(dāng)生產(chǎn)中心A所在地發(fā)生災(zāi)難時(shí),生產(chǎn)中心A可將應(yīng)用切換到同城災(zāi)備中心B或異地災(zāi)備中心C的備用數(shù)據(jù)服務(wù)器上,同時(shí)同城災(zāi)備中心B或異地災(zāi)備中心c的備用數(shù)據(jù)服務(wù)器接管災(zāi)備中心A的應(yīng)用,恢復(fù)數(shù)據(jù)的訪問及業(yè)務(wù)的連續(xù)性。
異地雙中心方案
異地雙中心方案較三中心方案減少了一個(gè)同城災(zāi)備中心,采用類似的企業(yè)級(jí)數(shù)據(jù)存儲(chǔ)系統(tǒng),通過數(shù)據(jù)異步復(fù)制技術(shù)進(jìn)行備份數(shù)據(jù)的傳遞。因?yàn)槿鄙僖粋€(gè)近距離的同城災(zāi)備中心,所以異地雙中心方案無法提供實(shí)時(shí)的鏡像數(shù)據(jù)備份恢復(fù),RPO最短3秒至5秒。這種情況下雖然可以保證數(shù)據(jù)一致性且可以實(shí)時(shí)切換,但是因此會(huì)有少量的數(shù)據(jù)丟失,因此只適用于對(duì)數(shù)據(jù)實(shí)時(shí)更新要求不高的企業(yè)。
在本方案中,本地生產(chǎn)中心的數(shù)據(jù)存儲(chǔ)系統(tǒng)存儲(chǔ)著相應(yīng)的業(yè)務(wù)數(shù)據(jù),可以同異地災(zāi)備中心通過數(shù)據(jù)異步復(fù)制技術(shù)進(jìn)行數(shù)據(jù)鏡像,實(shí)現(xiàn)異地的數(shù)據(jù)備份及保護(hù)。當(dāng)生產(chǎn)中心所在地發(fā)生災(zāi)難時(shí),生產(chǎn)中心的應(yīng)用將被切換到異地災(zāi)備中心的數(shù)據(jù)庫服務(wù)器,異地災(zāi)備中心使用存儲(chǔ)有數(shù)據(jù)鏡像的存儲(chǔ)系統(tǒng),開始恢復(fù)數(shù)據(jù)的訪問及業(yè)務(wù)的連續(xù)性。
存儲(chǔ)HA+異地災(zāi)備方案
兩地三中心方案的部署成本太高,而異地雙中心方案又無法做到數(shù)據(jù)無丟失,而存儲(chǔ)HA+異地災(zāi)備方案則可以在前兩個(gè)方案之間取得較好的平衡。這實(shí)際上是兩地三中心方案的一個(gè)變通做法,即將保存實(shí)時(shí)數(shù)據(jù)鏡像的災(zāi)備存儲(chǔ)系統(tǒng)放在生產(chǎn)中心,從而實(shí)現(xiàn)同城災(zāi)備中心的部分功能。從而實(shí)現(xiàn)生產(chǎn)中心存儲(chǔ)HA(高可用性),使得RPO=0,實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的一致性。
在生產(chǎn)中心中,企業(yè)用戶需要放置兩套企業(yè)級(jí)存儲(chǔ)系統(tǒng)在本地生產(chǎn)中心存儲(chǔ)相應(yīng)的業(yè)務(wù)數(shù)據(jù),并在生產(chǎn)中心通過數(shù)據(jù)同步復(fù)制技術(shù)實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)同步,實(shí)現(xiàn)存儲(chǔ)的高可用性。任意一套存儲(chǔ)系統(tǒng)的宕機(jī),都不會(huì)影響業(yè)務(wù)的運(yùn)行。同時(shí),結(jié)合數(shù)據(jù)異步復(fù)制技術(shù),將本地生產(chǎn)中心的一套存儲(chǔ)系統(tǒng)同異地災(zāi)備中心的存儲(chǔ)系統(tǒng)通過數(shù)據(jù)異步復(fù)制技術(shù)進(jìn)行數(shù)據(jù)鏡像,實(shí)現(xiàn)異地的數(shù)據(jù)備份及保護(hù)。
同城雙中心方案
如果企業(yè)的業(yè)務(wù)主要集中在一地開展,或者希望在預(yù)算有限的情況下優(yōu)先滿足數(shù)據(jù)的一致性,那么前面提到的異地災(zāi)備方案就不是那么合適了,此時(shí)可以考慮同城雙中心方案,即將生產(chǎn)中心和災(zāi)備中心安排在同一個(gè)地區(qū)。然后根據(jù)情況選擇磁盤數(shù)據(jù)同步/異步復(fù)制技術(shù),進(jìn)行生產(chǎn)中心與災(zāi)備中心之間的數(shù)據(jù)備份傳輸,實(shí)現(xiàn)同城的災(zāi)難備份恢復(fù),從而有效地管理風(fēng)險(xiǎn)、保證業(yè)務(wù)的連續(xù)運(yùn)行,提高業(yè)務(wù)服務(wù)水平。
本方案主要由服務(wù)器和存儲(chǔ)備份系統(tǒng)兩部分構(gòu)成。在生產(chǎn)中心配備兩套數(shù)據(jù)庫服務(wù)器來保證業(yè)務(wù)訪問的穩(wěn)定、高性能、快速響應(yīng)及高可用性,而響應(yīng)的數(shù)據(jù)則存儲(chǔ)在生產(chǎn)中心的一套企業(yè)級(jí)存儲(chǔ)系統(tǒng)上。同時(shí),此系統(tǒng)通過磁盤數(shù)據(jù)同步屏步復(fù)制技術(shù)將數(shù)據(jù)復(fù)制到同城災(zāi)備中心的存儲(chǔ)系統(tǒng)上,生產(chǎn)中心與災(zāi)備中心的兩套磁盤存儲(chǔ)系統(tǒng)間建立磁盤鏡像復(fù)制關(guān)系從而實(shí)現(xiàn)高可用性,保證關(guān)鍵數(shù)據(jù)的可恢復(fù)性與業(yè)務(wù)應(yīng)用的可持續(xù)性。
數(shù)據(jù)報(bào)告 數(shù)據(jù)采集論文 數(shù)據(jù)安全論文 數(shù)據(jù)采集 數(shù)據(jù)挖掘總結(jié) 數(shù)據(jù)安全 數(shù)據(jù)統(tǒng)計(jì)論文 數(shù)據(jù)挖掘 數(shù)據(jù)理論論文 數(shù)據(jù)通信論文 紀(jì)律教育問題 新時(shí)代教育價(jià)值觀