基于ELM的爬蟲檢測(cè)算法研究及在水保網(wǎng)站上的應(yīng)用.pdf

1、當(dāng)前，水土流失已經(jīng)變成我國(guó)最緊要的環(huán)境問題，制約著人口、資源、環(huán)境和經(jīng)濟(jì)的共同發(fā)展。為了防止水土流失和恢復(fù)生態(tài)環(huán)境，全國(guó)各地先后開展了水土保持工作,并逐步建立起了各個(gè)水土保持信息共享網(wǎng)站。
　　隨著互聯(lián)網(wǎng)搜索引擎技術(shù)的突飛猛進(jìn)，搜索引擎的網(wǎng)絡(luò)爬蟲日漸泛濫。這些網(wǎng)絡(luò)爬蟲給網(wǎng)站服務(wù)器帶來(lái)了巨大的處理負(fù)擔(dān)，很多水保網(wǎng)站因此陷入癱瘓，給水土保持工作帶來(lái)了巨大的壓力。為了維護(hù)湖北水土保持網(wǎng)站的穩(wěn)定，本文運(yùn)用機(jī)器學(xué)習(xí)的思想，設(shè)計(jì)了能夠根據(jù)訪問

2、者特征來(lái)檢測(cè)爬蟲的算法，并應(yīng)用到湖北水土保持網(wǎng)站上抵御爬蟲。本文主要研究?jī)?nèi)容如下：
　　(1)論文分析了目前國(guó)內(nèi)外檢測(cè)網(wǎng)絡(luò)爬蟲的算法現(xiàn)狀。深入研究了網(wǎng)絡(luò)爬蟲的工作原理和單隱層前饋式神經(jīng)網(wǎng)絡(luò)算法-極限學(xué)習(xí)機(jī)ELM，提出了基于ELM的爬蟲檢測(cè)算法。
　　(2)論文在仔細(xì)研究湖北水土保持網(wǎng)站后，根據(jù)網(wǎng)站特點(diǎn)建立能夠充分描述水土保持網(wǎng)站訪問者特征的特征模型。
　　(3)設(shè)計(jì)實(shí)現(xiàn)了基于極限學(xué)習(xí)機(jī)算法的網(wǎng)絡(luò)爬蟲攔截器，將其應(yīng)用到湖