大數(shù)據(jù)環(huán)境下農(nóng)業(yè)數(shù)字資源存儲(chǔ)與分析技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的廣泛普及與飛速發(fā)展，整個(gè)社會(huì)各種類型的數(shù)據(jù)總量飛速增長(zhǎng)，我們正在步入大數(shù)據(jù)時(shí)代。在大數(shù)據(jù)時(shí)代數(shù)字圖書館面臨著兩個(gè)關(guān)鍵性問題：海量數(shù)字資源的高速檢索和數(shù)字資源的深度挖掘與分析。傳統(tǒng)的基于關(guān)系型數(shù)據(jù)庫(kù)的技術(shù)體系在面對(duì)海量數(shù)據(jù)的檢索和應(yīng)用在性能上要面臨著很大的挑戰(zhàn)，所以為了更好地整合存儲(chǔ)各類數(shù)字資源，提高海量數(shù)字資源的應(yīng)用水平，提供專業(yè)化水平更高知識(shí)服務(wù)，數(shù)字圖書館應(yīng)創(chuàng)新技術(shù)體系，適時(shí)引入大數(shù)據(jù)技術(shù)以此作為工作的新入口。

2、>　　本文以國(guó)家農(nóng)業(yè)圖書館館藏?cái)?shù)據(jù)資源為對(duì)象，分析了國(guó)家農(nóng)業(yè)圖書館現(xiàn)有資源的總體情況以及目前國(guó)家農(nóng)業(yè)圖書館所使用的技術(shù)體系面臨的問題，對(duì)比當(dāng)今流行的大數(shù)據(jù)技術(shù)在性能和功能上的優(yōu)勢(shì)，提出了一種基于大數(shù)據(jù)技術(shù)的新型數(shù)字圖書館數(shù)字資源存儲(chǔ)與應(yīng)用的技術(shù)框架。此框架整合了 HDFS、Hbase與 Spark大數(shù)據(jù)存儲(chǔ)與處理技術(shù)。隨后在本研究設(shè)計(jì)的技術(shù)框架的基礎(chǔ)上搭建了具有三個(gè)節(jié)點(diǎn)的實(shí)驗(yàn)集群，初步構(gòu)建了大數(shù)據(jù)技術(shù)平臺(tái)。
　　論文后半部分論述了

3、基于Hbase的大數(shù)據(jù)存儲(chǔ)體系與基于Spark的大數(shù)據(jù)分析體系的優(yōu)勢(shì)，通過實(shí)例化的方式實(shí)現(xiàn)了基于Hbase的農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)的存儲(chǔ)與挖掘分析，借此方式對(duì)這種新型技術(shù)體系進(jìn)行技術(shù)可行性分析與功能探索。本研究所使用的農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)在數(shù)據(jù)存儲(chǔ)層采用Hbase進(jìn)行數(shù)據(jù)組織并通過HDFS實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)，并通過實(shí)驗(yàn)對(duì)比分析基于大數(shù)據(jù)技術(shù)體系的農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)庫(kù)在性能上和關(guān)系型數(shù)據(jù)庫(kù)優(yōu)劣，實(shí)驗(yàn)結(jié)果證明采用論文提出的新型基于大數(shù)據(jù)技術(shù)的技術(shù)體系在數(shù)據(jù)