基于大數(shù)據(jù)的電子商務供求分析系統(tǒng).pdf

1、電子商務平臺中經(jīng)常存在著供求差距，所謂供求差距是指商家（供給方）現(xiàn)有的商品不滿足買家（需求方）的需求。在電子商務中，買家的購物需求往往蘊含在買家的購物行為中，例如以關鍵詞搜索商品，在商品網(wǎng)頁中點擊價格、類別、運送時間要素等。如何從買家購物行為中分析出買家的需求，并提供給賣家作為供給的參考，從而解決買賣雙方的供求差距，是電子商務需要解決的重要問題。
　　針對上述問題，本文以國際著名的某電子商務公司（簡稱E公司）的實際項目為背景，針對

2、如何分析在TB級用戶行為數(shù)據(jù)的基礎上得到熱賣與非熱賣的商品列表的實際需求，在對基于Hive的數(shù)據(jù)存儲技術、基于規(guī)則的數(shù)據(jù)清洗技術、基于MapReduce的供求關系分析建模技術等相關技術進行分析研究的基礎上，設計并實現(xiàn)了一個基于大數(shù)據(jù)的電子商務供求分析系統(tǒng)，并通過在E公司的電子商務平臺中對3TB實際數(shù)據(jù)的系統(tǒng)測試以及三個月的實際上線運行，對該系統(tǒng)的可行性和有效性進行了驗證。
　　本文的工作內(nèi)容有以下幾個方面：
　?。?）針對電

3、子商務平臺大規(guī)模用戶行為數(shù)據(jù)的提取與清理問題，對數(shù)據(jù)進行了ETL(Extract,transformation and load)，提出了基于規(guī)則的數(shù)據(jù)清理以及基于HADOOP Hive數(shù)據(jù)倉庫對數(shù)據(jù)進行存儲和處理的方案，將數(shù)據(jù)整合為適合進行數(shù)據(jù)分析的形式，解決大規(guī)模數(shù)據(jù)量下對數(shù)據(jù)進行存儲與處理的效率問題。
　?。?）使用大規(guī)模行為數(shù)據(jù)對買家用戶需求進行提取與歸并。在T級別的數(shù)據(jù)量下，對用戶搜索關鍵詞和用戶搜索行為進行處理，根據(jù)不

4、同搜索行為下的用戶需求進行歸并，提取需求信息并對應到相應商品上?；贖ive設計并實現(xiàn)了針對此問題的UDF(User define function)，對用戶的搜索關鍵詞進行處理，對用戶的搜索行為進行分析，提取用戶需求，完成對大規(guī)模用戶行為數(shù)據(jù)的分析與處理。
　?。?）根據(jù)用戶需求與電子商務平臺的整體供給，對供需關系進行建模。根據(jù)不同的業(yè)務需求，對不同的業(yè)務指標建立模型，在Hadoop MapReduce下設計并實現(xiàn)，提供潛在熱銷