基于Hive的物流數據倉庫研究與實現(xiàn).pdf

1、近年來，隨著大數據技術的發(fā)展和應用，Hadoop已經得到學術界和工業(yè)界的廣泛認可。Hive作為構建于Hadoop集群之上的開源數據倉庫應用，具備模式自由、高可擴展性和高容錯性的特點，能夠很好地滿足企業(yè)級數據倉庫的需求。因此，越來越多的物流企業(yè)開始考慮如何利用Hive數據倉庫帶來的優(yōu)勢，完善自身的信息化建設。
　　本文以某物流信息系統(tǒng)軟件公司(以下稱DK公司)的智慧物流大數據平臺項目為背景，在充分研究物流公司業(yè)務需求的基礎上，對基于

2、Hive的物流數據倉庫進行了總體架構設計，同時選擇了開發(fā)語言，并分析了實現(xiàn)方法。
　　針對物流企業(yè)數據倉庫擴展性不好、運行自動化程度不高、處理大規(guī)模數據效果較差等問題，在對基于Hive的物流數據倉庫進行分析和設計的基礎上，本文提出物流數據倉庫的具體實現(xiàn)方案，該數據倉庫結合高校云平臺虛擬化技術，能夠提供高可擴展性。另外，數據倉庫的數據抽取轉換加載過程和數據查詢分析處理過程能夠滿足自動化需求，不需要任何人工干預。并且利用MapRedu

3、ce并行計算的優(yōu)勢，能夠很好地支持大規(guī)模物流數據的處理。
　　本文首先對國內外現(xiàn)狀和大數據相關技術進行介紹，主要對比了Hive數據倉庫和關系型數據庫，研究了Hive數據倉庫的優(yōu)缺點，并提出其適用場景。然后，以DK公司智慧物流大數據平臺項目為背景，對基于Hive的物流數據倉庫進行需求分析和系統(tǒng)架構設計，提出實現(xiàn)該數據倉庫的技術方案。進而基于學校云平臺，部署了Hadoop、Sqoop和Hive環(huán)境，搭建了基于虛擬化技術的大數據處理平臺