Web文本摘要技術的研究與應用.pdf

1、隨著萬維網的迅猛發(fā)展，用戶可在線獲得的信息量呈指數級增長。面對如此浩瀚的信息，人們迫切需要尋找一條能夠快速、準確獲得所需信息的途徑，因而出現了多種文本處理技術，包括信息檢索、文本分類、文本摘要等。 文本摘要技術因其既可以壓縮文本，減少用戶的瀏覽負擔，又可以為其他文本處理技術提供支持，逐漸成為國內外研究的熱點。本文研究了以Web文本結構為指導、以機械摘要為基本手段的自動摘要方法，并對其中涉及的文本結構分析、關鍵詞提取、摘要生成等關

2、鍵技術進行了深入研究；然后對獲得的摘要進行聚類處理；最后，給出實驗結果并進行深入分析。本文主要的研究工作包括以下幾個方面： (1)本文首先概述了Web挖掘的定義和分類，以及Web文本挖掘產生的背景、基本概念和應用方向；同時闡述了自動文本摘要的發(fā)展歷史、類型、技術和評價方法。自動Web文本摘要是本文重點研究的內容。 (2)本文在深入分析Web文本的結構特征的基礎上，研究了在Java語言中運用正則表達式實現Web文本解析的關

3、鍵技術，并給出核心實現過程。 (3)本文研究了基于擴展的TF-IDF方法的摘要技術，其主要步驟包括：首先過濾停用詞，然后計算詞和句子的權重，再將句子按照權重高低排序，排在前面的若干句子按照在原文中的位置順序輸出即為該文章的摘要。經過內部評價，該技術獲得的摘要效果較好。 (4)本文深入研究了各種聚類方法，并對這些方法的優(yōu)缺點進行總結和比較。同時給出獲得摘要的具體實驗過程，最后對摘要采用經典的平面分割聚類算法：K-means