基于Hadoop的Nutch分布式搜索引擎研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術的快速發(fā)展，網(wǎng)絡中的信息量日益增大且已經(jīng)呈現(xiàn)出指數(shù)級的膨脹趨勢。21世紀是信息的時代，人們希望能夠找出一種有效的方法使得快速、方便、高效地從互聯(lián)網(wǎng)上查找信息成為可能，搜索引擎技術的及時出現(xiàn)使人們的愿望成為現(xiàn)實。Nutch是構建于Lucene基礎之上的完整Web搜索引擎，提供了運行搜索引擎所需要的基本工具。Nutch有兩個主要的缺陷：一是不支持中文分詞技術，二是沒有實現(xiàn)Google的PageRank網(wǎng)頁排序算法，本文的主要工

2、作是分析Hadoop集群處理大數(shù)據(jù)的性能以及實現(xiàn)一個比較完善的基于Hadoop的Nutch分布式搜索引擎。
　　本文首先簡單的介紹了搜索引擎的發(fā)展歷史，詳細分析了搜索引擎的基本框架和工作原理，描述了搜索引擎的工作流程，全面剖析了搜索引擎的核心技術。其次在Nutch框架中實現(xiàn)了中文分詞技術的添加和基于MapReduce編程模型的PageRank算法。再次詳細介紹了云計算的開源框架Hadoop，在Windows中成功搭建Hadoop集

3、群，并通過MapReduce構建大規(guī)模數(shù)據(jù)索引實驗來分析Hadoop性能，實驗證明：網(wǎng)絡帶寬越大，集群效率越高；集群中的節(jié)點數(shù)越多，處理大數(shù)據(jù)的能力越強。最后首先分析了Nutch搜索引擎的系統(tǒng)架構并對其進行分布式改造，然后在Hadoop集群中成功運行Nutch分布式搜索引擎，實現(xiàn)了分布式抓取網(wǎng)頁和建立索引，并比較了單機和分布式搜索引擎的工作效率，實驗證明：處理的數(shù)據(jù)量越大，越能發(fā)揮集群的優(yōu)勢，分布式搜索引擎與單機搜索引擎相比在效率上有所