云環(huán)境下搜索引擎系統(tǒng)關鍵技術研究.pdf

1、隨著互聯(lián)網內容爆發(fā)式的增長，搜索引擎成為人們使用互聯(lián)網時的主要入口。然而，面對當前互聯(lián)網中的海量信息，傳統(tǒng)搜索引擎在抓取速度、存儲容量以及查準率和查全率方面很難適應現(xiàn)在的互聯(lián)網環(huán)境。本文結合云計算相關技術，研究了搜索引擎系統(tǒng)中文本去重、頁面索引以及網絡信息采集這三個關鍵技術，具體工作如下：
　　首先，為了減少存儲系統(tǒng)中重復頁面的數(shù)量，本文在傳統(tǒng)的文本去重算法Shingling的基礎上，結合LCS問題的解決方法，提出了與位置相關的改

2、進的Shingling去重算法SWLR(ShinglingwithLocationRelationship)。提高了文本去重的查準率和查全率。通過與基于比特位的過濾算法相結合，本文進一步提出了快速SWLR算法，實驗結果表明，快速SWLR算法在沒有降低相似性檢測效果的前提下，顯著提升了SWLR算法運算的性能。
　　其次，為了提高頁面索引中短語查詢的效率，本文在倒排索引模型的基礎上提出了基于鏈表結構的倒排索引模型，通過在倒排索引模型的

3、Term節(jié)點中增加指向相鄰關鍵詞的指針，在通過關鍵詞短語進行查詢時，可以在單位時間內查找到相鄰的關鍵詞并進行匹配。實驗結果表明，基于鏈表結構的倒排索引模型在索引構建、查詢以及內存消耗方面均具有性能優(yōu)勢。
　　最后，本文結合云計算環(huán)境，提出了一種基于Hadoop的網絡爬蟲系統(tǒng)。在該系統(tǒng)中，解析與爬行兩個子系統(tǒng)并行運行，從而充分利用計算機的I/O資源和計算資源。實驗結果表明，本文提出的網絡爬蟲系統(tǒng)具有很好的系統(tǒng)擴展能力和負載均衡能力。