基于文本分析的互聯(lián)網(wǎng)視頻搜索引擎技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)上的信息不僅在數(shù)量上以幾何級的速度增長，在形式上也變得多種多樣。多媒體信息正在逐步的取代傳統(tǒng)的文本信息，成為人們上網(wǎng)了解信息的第一選擇。傳統(tǒng)的搜索引擎專注于文字的搜索，對視頻、圖片等多媒體信息搜索的支持遠遠滿足不了人們的需求。針對這種情況，本文設(shè)計了一種專門針對于互聯(lián)網(wǎng)視頻的搜索引擎，該搜索引擎通過分析挖掘視頻的標題，評論等相關(guān)文本信息能較精確的搜索到視頻信息，并通過分析用戶日志提供個性化搜索。
　　

2、本文首先介紹了網(wǎng)絡(luò)爬蟲的實現(xiàn)原理及運行過程。該網(wǎng)絡(luò)爬蟲針對視頻網(wǎng)站爬取視頻相關(guān)文本信息，并將相關(guān)信息保存到本地。由于具有采集速度快，范圍廣的特點，使其能較好的滿足用戶對搜索引擎查找速度快，搜索范圍廣的要求。接下來，本文介紹通過對已有視頻文本信息的分析挖掘而非對視頻本身的分析來間接獲取視頻內(nèi)容信息。介紹了中文分詞的主流算法，并比較了這些方法的優(yōu)缺點，并詳細實現(xiàn)了正向最大匹配算法，為之后句子間相似度匹配算法提供了較好的分詞效果。接著介紹對爬

3、蟲爬取到的視頻評論進行過濾的方法，將情感評論，垃圾評論等對分析視頻內(nèi)容無關(guān)的評論過濾掉。采用計算相對詞頻來分析文本信息進而判斷視頻的內(nèi)容。
　　然后，詳細介紹了根據(jù)用戶日志判斷用戶查詢意圖的方法。首先介紹了用戶日志挖掘的過程，詳細描述了怎樣對用戶日志進行處理，并以Sogou用戶日志為例進行處理，獲得了滿足后續(xù)分析的數(shù)據(jù)。提出一種基于句子相似度計算判斷用戶查詢意圖的方法，該方法根據(jù)用戶日志判斷查詢詞與哪類視頻的相關(guān)度最大來確定用戶的