基于XML的Web文本挖掘算法研究及應(yīng)用.pdf

1、傳統(tǒng)的數(shù)據(jù)挖掘?qū)ο笾饕轻槍?shù)據(jù)庫或者數(shù)據(jù)倉庫,然而大量的數(shù)據(jù)并非存儲在他們之中而是分散在萬維網(wǎng)上。基于種種因為不能直接得到Web數(shù)據(jù)的后臺數(shù)據(jù)庫,因而無法直接利用各種基于數(shù)據(jù)庫或數(shù)據(jù)倉庫的數(shù)據(jù)挖掘技術(shù)來獲得Web上的隱含知識,由此Web數(shù)據(jù)挖掘應(yīng)運(yùn)而生。
　　 Web是一個巨大的、分布廣泛的、高度異構(gòu)的、半結(jié)構(gòu)化的、超文本、超媒體的、相互聯(lián)系并且不斷進(jìn)化的信息倉庫；它包括了豐富、動態(tài)的超鏈接信息以及Web頁面的訪問和使用信息。

2、現(xiàn)行的網(wǎng)絡(luò)環(huán)境大都以HTML語言為基礎(chǔ)構(gòu)建,它是一種只能描述形式而不能揭示內(nèi)容的標(biāo)記語言,因此,Web上的半結(jié)構(gòu)化數(shù)據(jù)和異構(gòu)數(shù)據(jù)源問題給Web數(shù)據(jù)挖掘帶來了困難。W3C開發(fā)的XML可擴(kuò)展標(biāo)記語言,支持豐富的數(shù)據(jù)結(jié)構(gòu),特別強(qiáng)調(diào)數(shù)據(jù)語義與元素之間的關(guān)系,因此基于XML的Web數(shù)據(jù)挖掘可以充分利用XML的特點,為Web數(shù)據(jù)挖掘帶來了新的契機(jī)。
　　 本文研究了基于XML的Web文本挖掘的基本方法和技術(shù),其核心思想是將現(xiàn)有的Web頁面轉(zhuǎn)

3、換成XML格式,從而完成了對Web上異構(gòu)的、半結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行整合和組織,使其成為結(jié)構(gòu)化較好的、高層次的資源集合,然后使用XML技術(shù)處理XML結(jié)構(gòu)的數(shù)據(jù),找到適當(dāng)?shù)臄?shù)據(jù),并將這些數(shù)據(jù)映射到關(guān)系數(shù)據(jù)庫中,最后通過面向關(guān)系數(shù)據(jù)庫的數(shù)據(jù)挖掘工具進(jìn)行關(guān)聯(lián)規(guī)則提取,以獲得更多有用信息。
　　 本文的主要內(nèi)容有:
　　 第一,闡述了XML的特點,文檔結(jié)構(gòu),并與HTML作了比較,介紹了XML的相關(guān)技術(shù)。對Web數(shù)據(jù)挖掘進(jìn)行了全面的介紹

4、,包括Web數(shù)據(jù)挖掘的定義,工作流程,與傳統(tǒng)數(shù)據(jù)挖掘的異同,將Web挖掘與Web信息檢索作了比較。介紹了XML技術(shù)與Web數(shù)據(jù)挖掘相結(jié)合的發(fā)展?fàn)顩r。
　　 第二,提出了一個基于XML的Web數(shù)據(jù)挖掘系統(tǒng)模型,給出了基于配對原則的Html到XML的轉(zhuǎn)換方法,并通過實驗與HTML Tidy工具作了比較。基于此方法,設(shè)計并實現(xiàn)了基于XML的Web數(shù)據(jù)抽取,最后將有關(guān)數(shù)據(jù)映射到關(guān)系數(shù)據(jù)庫中,為在Web挖掘中使用傳統(tǒng)的針對關(guān)系數(shù)據(jù)庫的數(shù)據(jù)

5、挖掘方法進(jìn)行挖掘創(chuàng)造有利條件。
　　 第三,簡要介紹了關(guān)聯(lián)規(guī)則提取的過程和方法,重點介紹并分析了挖掘關(guān)聯(lián)規(guī)則的兩種經(jīng)典算法--Apriori算法和FP-growth算法。提出了一種基于排序FP-tree挖掘最大頻繁模式的高效算法SFP_MFP,給出了最大頻繁模式樹MFPL-tree的定義,并用其存儲最大頻繁模式集,采取了多種措施減少候選最大頻繁模式的產(chǎn)生,利用有效的子集檢查方法,極大地降低了算法的時空開銷,提高了挖掘效率。實驗結(jié)