大數(shù)據的國內外研究現(xiàn)狀及發(fā)展動態(tài)分析

1、大數(shù)據的國內外研究現(xiàn)狀及發(fā)展動態(tài)分析大數(shù)據的概念產生的背景與意義產生的背景與意義上世紀60年代到80年代早期，企業(yè)在大型機上部署財務、銀行等關鍵應用系統(tǒng)，存儲介質包括磁盤、磁帶、光盤等。盡管當時人們稱其為大數(shù)據，但以今日的數(shù)據量來看，這些數(shù)據無疑是非常有限的。隨著PC的出現(xiàn)和應用增多，企業(yè)內部出現(xiàn)了很多以公文檔為主要形式的數(shù)據，包括Wd、Excel文檔，以及后來出現(xiàn)的圖片、圖像、影像和音頻等。此時企業(yè)內部生產數(shù)據的已不僅是企業(yè)的財務人員

2、，還包括大量的辦公人員，這極大地促進了數(shù)據量的增長。互聯(lián)網的興起則促成了數(shù)據量的第三次大規(guī)模增長，在互聯(lián)網的時代，幾乎全民都在制造數(shù)據。而與此同時，數(shù)據的形式也極其豐富，既有社交網絡、多媒體等應用所主動產生的數(shù)據，也有搜索引擎、網頁瀏覽等被動行為過程中被記錄、搜集的數(shù)據。時至今日，隨著移動互聯(lián)網、物聯(lián)網、云計算應用的進一步豐富，數(shù)據已呈指數(shù)級的增長，企業(yè)所處理的數(shù)據已經達到PB級，而全球每年所產生的數(shù)據量更是到了驚人的ZB級。在數(shù)據的這

3、種爆炸式增長的背景下，“大數(shù)據”的概念逐漸在科技界、學術界、產業(yè)界引起熱議。在大數(shù)據時代，我們分析的數(shù)據因為“大”，擺脫了傳統(tǒng)對隨機采樣的依賴，而是面對全體數(shù)據；因為所有信息都是“數(shù)”，可以不再糾結具體數(shù)據的精確度，而是坦然面對信息的混雜；信息之“大”之“雜”，讓我們分析的“據”也由傳統(tǒng)的因果關系變?yōu)橄嚓P關系。大數(shù)據熱潮的掀起讓中國期待“彎道超越”的機會，創(chuàng)造中國IT企業(yè)從在紅海領域苦苦掙扎轉向在藍海領域奮起直追的戰(zhàn)略機遇。傳統(tǒng)IT行業(yè)

4、對于底層設備、基礎技術的要求非常高，企業(yè)在起點落后的情況下始終疲于追趕。每當企業(yè)在耗費大量人力、物力、財力取得技術突破時，IT革命早已將核心設備或元件推進至下一階段。這種一步落后、處處受制于人的狀態(tài)在大數(shù)據時代有望得到改變。大數(shù)據對于硬件基礎設施的要求相對較低，不會受困于基礎設備核心元件的相對落后。與在傳統(tǒng)數(shù)據庫操作層面的技術差距相比，大數(shù)據分析應用的中外技術差距要小得多。而且，美國等傳統(tǒng)IT強國的大數(shù)據戰(zhàn)略也都處于摸著石頭過河的試錯階

5、段。中國市場的規(guī)模之大也為這一產業(yè)發(fā)展提供了大空間、大平臺。大數(shù)據對于中國企業(yè)不僅僅是信息技術的更新，更是企業(yè)發(fā)展戰(zhàn)略的變革。隨著對大數(shù)據的獲取、處理、管理等各個角度研究的開展，企業(yè)逐漸認識數(shù)據已經逐漸演變成“數(shù)據資產”。任何硬件、軟件及服務都會隨著技術發(fā)展和需求變化逐漸被淘汰，只有數(shù)據才具有長期可用性，值得積累。數(shù)據是企業(yè)的核心資產，可以是也應該是獨立于軟硬件系統(tǒng)及應用需求而存在的。大數(shù)據是信息技術演化的最新產物，確立了數(shù)據這一信息技

6、術元素的獨立型數(shù)據庫工具收集、存儲、管理和分析能力的數(shù)據集?！钡瑫r指出“大數(shù)據”并非總是說有數(shù)百個TB才算得上。根據實際使用情況，有時候數(shù)百個GB的數(shù)據也可稱為大數(shù)據，這主要要看它的第三個維度，也就是速度或者時間維度。權威IT研究與顧問咨詢公司Gartner將大數(shù)據定義為“在一個或多個維度上超出傳統(tǒng)信息技術的處理能力的極端信息管理和處理問題”。IBM公司把大數(shù)據概括為規(guī)模Volume快速Velocity和多樣Variety，即3V，

7、而4V則是3V的基礎上多一個Value價值。具體來講，Volume指數(shù)據量極大并仍在持續(xù)增大；Velocity指所需的處理速度快，響應時間短；Variety指數(shù)據類型繁多，包括結構化數(shù)據、半結構化數(shù)據甚至是非結構化數(shù)據(以此區(qū)分大數(shù)據與海量數(shù)據兩個概念)；Value指價值密度低，以視頻為例，不間斷的監(jiān)控錄像中，有用的數(shù)據長度可能僅有一兩秒。由以上概念的差異可以看出目前主要從數(shù)據來源和數(shù)據的處理工具與處理難度兩個方面對大數(shù)據進行定義。但是

8、這種定義方式會和另一個詞發(fā)生混淆——海量數(shù)據。有文獻指出大數(shù)據=海量數(shù)據復雜類型的數(shù)據，這一公式是否成立還待進一步討論。如今“海量數(shù)據”研究方向主要考慮各種非結構化數(shù)據的有效管理、多數(shù)據源的集成問題。由此看來能區(qū)別兩次還需要借助IBM關于大數(shù)據4V特征，尤其是其中的Velocity。強調數(shù)據是快速動態(tài)變化的，形成流式數(shù)據則是大數(shù)據區(qū)別于其他概念的最重要的特征。國外除在大數(shù)據的概念上的研究外，重點放在技術研究。美國政府六個部門啟動的大數(shù)據

9、研究計劃中，除了國家科學基金會的研究內容提到要“形成一個包括數(shù)學、統(tǒng)計基礎和計算機算法的獨特學科”外，絕大多數(shù)研究項目都是應對大數(shù)據帶來的技術挑戰(zhàn)，重視的是數(shù)據工程而不是數(shù)據科學，主要考慮大數(shù)據分析算法和系統(tǒng)的效率。在國內，“大數(shù)據”尚未直接以專有名詞被我國政府提出并給予政策支持。因此國內學者關于大數(shù)據概念上的研究并不充分，大多是引用以上定義進行闡釋。同時在國內對“海量數(shù)據”這一說法認同度較高，更習慣將“大數(shù)據”稱為“海量數(shù)據，并沒有將

10、兩個詞進行明確的區(qū)分。國內在大數(shù)據研究領域的重點在大數(shù)據與云計算、數(shù)據挖掘，并行計算和分布式處理，應用式主要集中在地理信息系統(tǒng)。發(fā)展動態(tài)發(fā)展動態(tài)（1）資源的管理與利用。數(shù)據作為一種重要的資源，對它價值的挖掘利用具有非常重要的意義，因此一直是該領域的研究重點。研究主要涉及到數(shù)字處理、數(shù)據分析以及數(shù)據挖掘，尤其是從海量、復雜、實時的大數(shù)據中挖掘知識，可見，對海量數(shù)據價值的挖掘、發(fā)現(xiàn)和創(chuàng)造價值一直是當前的研究熱點。同時為了更好地建設數(shù)據資源，