基于粗糙集的“規(guī)則+例外”網(wǎng)頁(yè)分類(lèi)研究.pdf

1、隨著信息技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)信息不斷膨脹。如何讓網(wǎng)絡(luò)信息更好地為人類(lèi)服務(wù)，已成為未來(lái)幾年的一個(gè)研究熱點(diǎn)。一方面是人們對(duì)快速、準(zhǔn)確而全面獲取信息的渴望，而另一方面卻是網(wǎng)絡(luò)信息的紛繁蕪雜，在這兩者之間架設(shè)一座橋梁的確是一個(gè)巨大的挑戰(zhàn)。網(wǎng)頁(yè)自動(dòng)分類(lèi)技術(shù)正為解決這個(gè)問(wèn)題提供了一種合理有效地組織信息的方法。 為了有效地組織和分析網(wǎng)頁(yè)信息，幫助用戶(hù)迅速地獲取所需要的信息，論文針對(duì)不同用戶(hù)對(duì)網(wǎng)絡(luò)信息的不同需求來(lái)提取對(duì)應(yīng)的規(guī)則，同時(shí)根據(jù)知識(shí)中規(guī)

2、則與例外相互補(bǔ)充的學(xué)習(xí)理論對(duì)存在的例外進(jìn)行分析，從而對(duì)中文網(wǎng)頁(yè)文本進(jìn)行精確分類(lèi)。本文從理論和應(yīng)用的角度對(duì)中文網(wǎng)頁(yè)文本信息的分類(lèi)技術(shù)進(jìn)行了深入的研究，提出了將粗糙集與面向自然語(yǔ)言處理的規(guī)則與例外學(xué)習(xí)理論應(yīng)用到中文網(wǎng)頁(yè)分類(lèi)中，并實(shí)現(xiàn)了一個(gè)基于粗糙集的“規(guī)則+例外”中文網(wǎng)頁(yè)分類(lèi)系統(tǒng)。 論文對(duì)中文網(wǎng)頁(yè)分類(lèi)的關(guān)鍵技術(shù)、粗糙集理論的主要內(nèi)容、規(guī)則歸納以及例外分析進(jìn)行了系統(tǒng)的研究和詳細(xì)的介紹，并在這些理論知識(shí)的指導(dǎo)下設(shè)計(jì)了一個(gè)解決用戶(hù)需求的中

3、文網(wǎng)頁(yè)文本分類(lèi)器。論文主要做了以下研究工作： 網(wǎng)頁(yè)文本分類(lèi)首先需要收集WEB文本，對(duì)WEB文本進(jìn)行預(yù)處理，保存其中的文本信息。在這部分，文章首先實(shí)現(xiàn)了搶先式多線(xiàn)程中文網(wǎng)頁(yè)收集器，采用深度優(yōu)先的算法獲取特定類(lèi)型的網(wǎng)頁(yè)，接著根據(jù)HTML Tag文本的特點(diǎn)，實(shí)現(xiàn)了基于非遞歸方式匹配的WEB文本預(yù)處理器，它用于提取網(wǎng)頁(yè)中的文本信息以及定義的網(wǎng)頁(yè)標(biāo)記集。其次，本文在研究文本信息表示和網(wǎng)頁(yè)信息特點(diǎn)的基礎(chǔ)上，改進(jìn)了中文網(wǎng)頁(yè)文本表示的權(quán)重計(jì)算方