基于XML的Web文本挖掘算法研究及應用.pdf

1、傳統(tǒng)的數(shù)據(jù)挖掘對象主要是針對數(shù)據(jù)庫或者數(shù)據(jù)倉庫,然而大量的數(shù)據(jù)并非存儲在他們之中而是分散在萬維網(wǎng)上?；诜N種因為不能直接得到Web數(shù)據(jù)的后臺數(shù)據(jù)庫,因而無法直接利用各種基于數(shù)據(jù)庫或數(shù)據(jù)倉庫的數(shù)據(jù)挖掘技術來獲得Web上的隱含知識,由此Web數(shù)據(jù)挖掘應運而生。
　　 Web是一個巨大的、分布廣泛的、高度異構的、半結構化的、超文本、超媒體的、相互聯(lián)系并且不斷進化的信息倉庫；它包括了豐富、動態(tài)的超鏈接信息以及Web頁面的訪問和使用信息。

2、現(xiàn)行的網(wǎng)絡環(huán)境大都以HTML語言為基礎構建,它是一種只能描述形式而不能揭示內容的標記語言,因此,Web上的半結構化數(shù)據(jù)和異構數(shù)據(jù)源問題給Web數(shù)據(jù)挖掘帶來了困難。W3C開發(fā)的XML可擴展標記語言,支持豐富的數(shù)據(jù)結構,特別強調數(shù)據(jù)語義與元素之間的關系,因此基于XML的Web數(shù)據(jù)挖掘可以充分利用XML的特點,為Web數(shù)據(jù)挖掘帶來了新的契機。
　　 本文研究了基于XML的Web文本挖掘的基本方法和技術,其核心思想是將現(xiàn)有的Web頁面轉

3、換成XML格式,從而完成了對Web上異構的、半結構化的數(shù)據(jù)進行整合和組織,使其成為結構化較好的、高層次的資源集合,然后使用XML技術處理XML結構的數(shù)據(jù),找到適當?shù)臄?shù)據(jù),并將這些數(shù)據(jù)映射到關系數(shù)據(jù)庫中,最后通過面向關系數(shù)據(jù)庫的數(shù)據(jù)挖掘工具進行關聯(lián)規(guī)則提取,以獲得更多有用信息。
　　 本文的主要內容有:
　　 第一,闡述了XML的特點,文檔結構,并與HTML作了比較,介紹了XML的相關技術。對Web數(shù)據(jù)挖掘進行了全面的介紹

4、,包括Web數(shù)據(jù)挖掘的定義,工作流程,與傳統(tǒng)數(shù)據(jù)挖掘的異同,將Web挖掘與Web信息檢索作了比較。介紹了XML技術與Web數(shù)據(jù)挖掘相結合的發(fā)展狀況。
　　 第二,提出了一個基于XML的Web數(shù)據(jù)挖掘系統(tǒng)模型,給出了基于配對原則的Html到XML的轉換方法,并通過實驗與HTML Tidy工具作了比較?；诖朔椒?設計并實現(xiàn)了基于XML的Web數(shù)據(jù)抽取,最后將有關數(shù)據(jù)映射到關系數(shù)據(jù)庫中,為在Web挖掘中使用傳統(tǒng)的針對關系數(shù)據(jù)庫的數(shù)據(jù)

5、挖掘方法進行挖掘創(chuàng)造有利條件。
　　 第三,簡要介紹了關聯(lián)規(guī)則提取的過程和方法,重點介紹并分析了挖掘關聯(lián)規(guī)則的兩種經典算法--Apriori算法和FP-growth算法。提出了一種基于排序FP-tree挖掘最大頻繁模式的高效算法SFP_MFP,給出了最大頻繁模式樹MFPL-tree的定義,并用其存儲最大頻繁模式集,采取了多種措施減少候選最大頻繁模式的產生,利用有效的子集檢查方法,極大地降低了算法的時空開銷,提高了挖掘效率。實驗結