

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、近年來,隨著大數據技術的發(fā)展和應用,Hadoop已經得到學術界和工業(yè)界的廣泛認可。Hive作為構建于Hadoop集群之上的開源數據倉庫應用,具備模式自由、高可擴展性和高容錯性的特點,能夠很好地滿足企業(yè)級數據倉庫的需求。因此,越來越多的物流企業(yè)開始考慮如何利用Hive數據倉庫帶來的優(yōu)勢,完善自身的信息化建設。
本文以某物流信息系統(tǒng)軟件公司(以下稱DK公司)的智慧物流大數據平臺項目為背景,在充分研究物流公司業(yè)務需求的基礎上,對基于
2、Hive的物流數據倉庫進行了總體架構設計,同時選擇了開發(fā)語言,并分析了實現(xiàn)方法。
針對物流企業(yè)數據倉庫擴展性不好、運行自動化程度不高、處理大規(guī)模數據效果較差等問題,在對基于Hive的物流數據倉庫進行分析和設計的基礎上,本文提出物流數據倉庫的具體實現(xiàn)方案,該數據倉庫結合高校云平臺虛擬化技術,能夠提供高可擴展性。另外,數據倉庫的數據抽取轉換加載過程和數據查詢分析處理過程能夠滿足自動化需求,不需要任何人工干預。并且利用MapRedu
3、ce并行計算的優(yōu)勢,能夠很好地支持大規(guī)模物流數據的處理。
本文首先對國內外現(xiàn)狀和大數據相關技術進行介紹,主要對比了Hive數據倉庫和關系型數據庫,研究了Hive數據倉庫的優(yōu)缺點,并提出其適用場景。然后,以DK公司智慧物流大數據平臺項目為背景,對基于Hive的物流數據倉庫進行需求分析和系統(tǒng)架構設計,提出實現(xiàn)該數據倉庫的技術方案。進而基于學校云平臺,部署了Hadoop、Sqoop和Hive環(huán)境,搭建了基于虛擬化技術的大數據處理平臺
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于Hive的數據倉庫變更數據更新算法研究.pdf
- 基于Hive架構的物流運力供應鏈數據倉庫及運力匹配模型優(yōu)化研究.pdf
- metecloud平臺下基于hive的氣象數據倉庫構建的研究
- 基于Hive架構的電力設備狀態(tài)信息數據倉庫的研究.pdf
- 基于數據倉庫的CRM研究與實現(xiàn).pdf
- 基于數據倉庫的物流信息系統(tǒng).pdf
- 基于數據倉庫的ETL優(yōu)化與實現(xiàn).pdf
- 基于電信數據倉庫的ETL元數據研究與實現(xiàn).pdf
- 數據倉庫元數據的管理與實現(xiàn).pdf
- 基于數據倉庫的稅收預測系統(tǒng)的研究與實現(xiàn).pdf
- 基于數據倉庫的電信企業(yè)數據平臺的研究與實現(xiàn).pdf
- 基于數據倉庫的銀行基礎數據平臺設計與實現(xiàn).pdf
- 基于本體的數據倉庫建模工具的研究與實現(xiàn).pdf
- 基于數據倉庫的試卷分析系統(tǒng)的研究與實現(xiàn).pdf
- 基于數據倉庫的電信企業(yè)EIS的研究與實現(xiàn).pdf
- 基于數據倉庫的數據挖掘技術的研究與實現(xiàn)數據分類的研究與實現(xiàn).pdf
- 數據倉庫的基于角色訪問控制模型研究與實現(xiàn).pdf
- 基于維度方法的數據倉庫建模與實現(xiàn).pdf
- 基于數據倉庫的CRM系統(tǒng)的設計與實現(xiàn).pdf
- 基于CWM的數據倉庫調度系統(tǒng)設計與實現(xiàn).pdf
評論
0/150
提交評論