基于新浪微博開(kāi)放平臺(tái)的用戶數(shù)據(jù)挖掘技術(shù)研究.pdf

1、近些年，隨著Facebook、Twitter和Google+這類(lèi)社交網(wǎng)站的蓬勃興起，社交網(wǎng)絡(luò)應(yīng)用已經(jīng)成為了人們通過(guò)互聯(lián)網(wǎng)使用最為頻繁的網(wǎng)絡(luò)應(yīng)用之一，各種社交網(wǎng)絡(luò)應(yīng)用作為人們之間交流和信息共享的平臺(tái)，在人們?nèi)粘Ｉ钪邪缪葜絹?lái)越重要的角色。每天都有數(shù)以億計(jì)的社交網(wǎng)絡(luò)信息發(fā)布并被存儲(chǔ)，然而對(duì)于社交網(wǎng)絡(luò)相關(guān)的數(shù)據(jù)資源，絕大部分仍然得不到有效的利用。
　　本文以社交網(wǎng)絡(luò)應(yīng)用的用戶數(shù)據(jù)為研究對(duì)象，通過(guò)引入數(shù)據(jù)挖掘技術(shù)的相關(guān)概念，以尋求一種社

2、交網(wǎng)絡(luò)用戶數(shù)據(jù)的處理模式，即從社交網(wǎng)絡(luò)用戶數(shù)據(jù)的采集，到數(shù)據(jù)的存儲(chǔ)和清洗，再到數(shù)據(jù)挖掘分析，從中得到有價(jià)值的信息資源，從而為其它領(lǐng)域的活動(dòng)提供決策支持或預(yù)測(cè)分析。文章以新浪微博為實(shí)例，通過(guò)對(duì)微博用戶信息獲取技術(shù)的研究，提出并實(shí)現(xiàn)了一種通過(guò)新浪微博開(kāi)放平臺(tái)提供的API接口，高效獲取用戶數(shù)據(jù)的方法，同時(shí)利用傳統(tǒng)的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)及HTML頁(yè)面解析實(shí)現(xiàn)了少數(shù)一些無(wú)法利用API接口獲取的微博用戶信息的抓取，本文實(shí)驗(yàn)示例程序采用.NET平臺(tái)下的C＃語(yǔ)

3、言編寫(xiě)，為了便于數(shù)據(jù)清洗，程序采用了SQL Server2008R2作為數(shù)據(jù)存儲(chǔ)，利用存儲(chǔ)過(guò)程實(shí)現(xiàn)數(shù)據(jù)的高效寫(xiě)入，有效實(shí)現(xiàn)了新浪微博用戶數(shù)據(jù)的全面高效獲取。
　　在獲取到的樣本數(shù)據(jù)的基礎(chǔ)上，根據(jù)數(shù)據(jù)挖掘的需求和方向，選擇合適的數(shù)據(jù)挖掘模式，利用Microsoft SQL Server Analysis Services數(shù)據(jù)挖掘組件及開(kāi)源的Orange Canvas可視化數(shù)據(jù)挖掘工具對(duì)采集到的微博用戶數(shù)據(jù)進(jìn)行分析處理。通過(guò)對(duì)樣本數(shù)據(jù)