基于hadoop大數(shù)據(jù)框架的個(gè)性化推薦系統(tǒng)研究與實(shí)現(xiàn).pdf

1、信息過(guò)載問(wèn)題在當(dāng)今世界越來(lái)越突出，目前有三種比較成熟的處理方法，即網(wǎng)站導(dǎo)航、搜索引擎以及推薦系統(tǒng)。網(wǎng)站導(dǎo)航通過(guò)收錄著名網(wǎng)站并分門(mén)別類(lèi)的方式解決信息過(guò)載問(wèn)題。而搜索引擎通過(guò)為海量網(wǎng)頁(yè)建立索引的方式解決信息過(guò)載問(wèn)題。但是當(dāng)用戶(hù)不能明確表述自己的需求時(shí)，前兩者就略顯無(wú)力了，而推薦系統(tǒng)就可以解決此類(lèi)問(wèn)題。推薦系統(tǒng)通過(guò)分析用戶(hù)歷史行為記錄，主動(dòng)為用戶(hù)推薦其潛在感興趣的內(nèi)容。但是隨著互聯(lián)網(wǎng)的高速發(fā)展，信息量也呈幾何倍數(shù)增加，傳統(tǒng)的推薦系統(tǒng)在海量數(shù)據(jù)

2、下容易遭遇計(jì)算瓶頸。此外傳統(tǒng)推薦系統(tǒng)未充分考慮用戶(hù)興趣多變且呈現(xiàn)一定的離散性的問(wèn)題。
　　針對(duì)以上問(wèn)題，本文參考以往推薦系統(tǒng)設(shè)計(jì)方案，以搜索引擎下圖書(shū)的個(gè)性化推薦系統(tǒng)為目標(biāo)，研究并實(shí)現(xiàn)一種基于潛在語(yǔ)義分析和分片聚類(lèi)的混合推薦系統(tǒng)方案。并使用hadoop大數(shù)據(jù)處理框架解決推薦系統(tǒng)海量數(shù)據(jù)處理問(wèn)題。本文首先研究搜索引擎下用戶(hù)行為數(shù)據(jù)采集方法。分析搜索引擎下用戶(hù)行為類(lèi)型及其特性，針對(duì)各數(shù)據(jù)類(lèi)型及其特性使用不同的數(shù)據(jù)采集方式以及標(biāo)準(zhǔn)化方法

3、，從而完成用戶(hù)行為數(shù)據(jù)采集工作。其次，針對(duì)搜索引擎下用戶(hù)行為獨(dú)特性和用戶(hù)興趣多變問(wèn)題，提出潛在語(yǔ)義分析模型和分片聚類(lèi)模型分別挖掘用戶(hù)行為大數(shù)據(jù)下的長(zhǎng)久興趣和即時(shí)興趣。其中，潛在語(yǔ)義分析推薦模型以?xún)?nèi)容進(jìn)行推薦，可以緩解用戶(hù)和圖書(shū)冷啟動(dòng)問(wèn)題，并提升系統(tǒng)推薦的覆蓋率。而基于分片聚類(lèi)的協(xié)同過(guò)濾推薦模型中的將用戶(hù)行為按屬性和內(nèi)容分片，可以抽取出用戶(hù)不同時(shí)期的興趣，從而進(jìn)一步提升推薦性能，且推薦結(jié)果具有一定的新穎性。此外，針對(duì)分片聚類(lèi)過(guò)程中搜索引擎

4、下用戶(hù)相似度計(jì)算問(wèn)題，提出一種基于用戶(hù)檢索詞的改進(jìn)混合類(lèi)型數(shù)據(jù)相似度計(jì)算方法。最后，基于Hadoop大數(shù)據(jù)處理框架研究用戶(hù)行為預(yù)處理以及推薦算法的并行化方法，完成搜索引擎下圖書(shū)的個(gè)性化推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。
　　通過(guò)引入Hadoop大數(shù)據(jù)處理平臺(tái)，設(shè)計(jì)并行化的推薦算法，系統(tǒng)處理海量數(shù)據(jù)的能力有很大提升。通過(guò)基于潛在語(yǔ)義分析的推薦模型和分片聚類(lèi)的推薦模型協(xié)同作用，搜索引擎下圖書(shū)的個(gè)性化推薦精準(zhǔn)度和覆蓋率也有一定改善。最后，通過(guò)系統(tǒng)測(cè)