網(wǎng)頁自動分類技術(shù)研究.pdf

1、海量的Internet信息資源已經(jīng)成為獲取信息的重要來源，越來越多的人使用搜索引擎搜索網(wǎng)絡(luò)來獲取所需要的信息。但是，搜索引擎主要是按關(guān)鍵詞來進行檢索，返回結(jié)果中經(jīng)常包含大量的無關(guān)信息，其查準率難以令人滿意。網(wǎng)頁自動分類技術(shù)可以在較大程度上對網(wǎng)頁數(shù)據(jù)庫進行有序地組織，改善目前搜索引擎的缺陷，方便用戶準確定位所需要的信息，已成為一項具有較大實用價值的關(guān)鍵技術(shù)。本文的目標是在研究Internet信息特點的基礎(chǔ)上，針對目前網(wǎng)絡(luò)信息獲取和檢索的缺

2、陷，對網(wǎng)頁自動分類技術(shù)進行研究和探討，重點對關(guān)鍵技術(shù)網(wǎng)頁表示和分類算法進行了研究。 首先，在介紹研究背景、相關(guān)技術(shù)、研究意義、研究現(xiàn)狀的基礎(chǔ)上，對網(wǎng)頁自動分類技術(shù)的基礎(chǔ)，文本自動分類技術(shù)以及中文分詞，進行了比較全面的介紹和分析。然后總結(jié)網(wǎng)頁特點，同時抽樣統(tǒng)計了網(wǎng)頁標記對主題類別的分類貢獻，分析特征表示模型及表示過程并總結(jié)網(wǎng)頁表示的研究情況。還研究和探討維數(shù)削減的概念、途徑、網(wǎng)頁特征的選擇方法和抽取方法以及不同網(wǎng)頁特征選擇方法之間

3、的比較。以及介紹基于統(tǒng)計學習的自動分類算法，分析和比較常用的網(wǎng)頁自動分類算法，提出k近鄰算法改進思想。 其次，為了分析網(wǎng)頁標記源的主題分類表達能力，設(shè)計了一個抽樣調(diào)查方案進行統(tǒng)計分析。方案分經(jīng)濟和教育兩個類別，各隨意抽取50篇網(wǎng)頁進行統(tǒng)計數(shù)據(jù)分析?？梢缘玫浇Y(jié)論，網(wǎng)頁的標題標記、加重標記、黑體字標記、meta標記的主題表達能力比較強，分類干擾較少；標題標記使用的情況比較好，其余標記沒有被充分利用。超鏈接標記，其引用動機十分廣泛，分

4、類噪聲影響遠大于其分類作用，因此在分類時一般不考慮超鏈接標記。 最后，對K近鄰分類算法進行分析，K近鄰算法的優(yōu)點是算法比較簡單，容易實現(xiàn)，分類效果好；缺點是特征項相互獨立，影響分類精度，在分類階段的時間開銷太大。已有的K近鄰分類的改進算法，主要針對特征項相互獨立問題，并沒有涉及時間開銷的問題。在此基礎(chǔ)上，提出一種算法改進思想，結(jié)合簡單聚類算法，比如單鏈聚類方法，在不降低分類精度的情況下，將分類階段大部分的時間開銷轉(zhuǎn)移到訓練階段。