基于MapReduce用戶聚類算法在Web日志挖掘中應(yīng)用.pdf

1、現(xiàn)如今，Web上的數(shù)據(jù)以無(wú)法想象的規(guī)模在迅速的增大，對(duì)這些數(shù)據(jù)進(jìn)行挖掘可以得到很多重要信息。本文對(duì)創(chuàng)新知識(shí)云平臺(tái)所生成的Web日志進(jìn)行挖掘可以有效的了解客戶的需求，掌握客戶的瀏覽習(xí)慣來(lái)豐富網(wǎng)站的內(nèi)容并且對(duì)網(wǎng)站的優(yōu)化以及展示方式都有積極的推動(dòng)作用。本文通過(guò)Web日志的挖掘?qū)τ脩暨M(jìn)行聚類，將具有相同瀏覽習(xí)慣的用戶聚集在同一個(gè)類中。
　　在用戶聚類的過(guò)程中會(huì)存在一定誤差。一方面本文所采用的算法大多數(shù)是基于統(tǒng)計(jì)學(xué)的用戶聚類算法，而統(tǒng)計(jì)學(xué)的

2、準(zhǔn)確率是建立在大量實(shí)驗(yàn)基礎(chǔ)之上。為了減少統(tǒng)計(jì)誤差，在實(shí)驗(yàn)的過(guò)程中，選擇多個(gè)實(shí)驗(yàn)樣本進(jìn)行實(shí)驗(yàn)；另一方面在用戶聚類的過(guò)程中一個(gè)重要的過(guò)程就是用戶識(shí)別。在用戶識(shí)別過(guò)程中，首先，根據(jù)用戶的IP地址和用戶代理來(lái)識(shí)別用戶；然后，使用會(huì)話識(shí)別算法來(lái)進(jìn)一步的提升用戶識(shí)別的效果。
　　用戶的相似度計(jì)算是用戶聚類中非常重要的過(guò)程。為了提高用戶聚類的準(zhǔn)確率，從用戶訪問(wèn)路徑頻繁程度、用戶訪問(wèn)路徑序列以及用戶訪問(wèn)頁(yè)面語(yǔ)義內(nèi)容多維度的去構(gòu)建相關(guān)矩陣，通過(guò)計(jì)算