基于大數(shù)據平臺的百度式數(shù)據檢索系統(tǒng)設計與實現(xiàn).pdf

1、21世紀毫無疑問是互聯(lián)網時代，如今互聯(lián)網中的信息每天都在爆炸式的增長，面對海量數(shù)據的存儲和分析，傳統(tǒng)的集中式搜索引擎顯得拙荊見肘。因此人們提出了分布式搜索引擎的策略。分布式文件系統(tǒng)基于云計算可以合理的利用硬件資源，進行高效的并行檢索?；ヂ?lián)網每天產生的海量數(shù)據都是寶貴的財富，但是沒有搜索引擎它們只是一堆雜亂的數(shù)據，需要耗費大量的人力去挖掘。傳統(tǒng)的搜索引擎都是采用關鍵字匹配查詢，無法揣測人們的意圖，使得用戶很難精準的獲得自己想要的信息，因此

2、搜索引擎的分布式智能化是未來發(fā)展的趨勢。
　　對于企業(yè)來說一個數(shù)十萬員工的企業(yè)，分支機構分布在世界各地，需要在企業(yè)內部門戶上提供面向全體員工的統(tǒng)一搜索服務，搜索的內容包括企業(yè)內應用所產生的業(yè)務數(shù)據以及企業(yè)員工相關信息。大部分企業(yè)不能充分發(fā)掘自身數(shù)據的價值,比如說現(xiàn)在企業(yè)數(shù)據中大多數(shù)是非結構化數(shù)據，這其中包括了Word文檔，Excel表格，PDF文件，掃描圖片，電子郵件，電話記錄、語音留言、紙質文檔、照片、網頁、視頻以及其他形式的內

3、容。由于很多企業(yè)缺乏能夠理解并有效利用這些內容的技術，使得非常有價值又充滿戰(zhàn)略意義的資源常常無法發(fā)揮其作用。企業(yè)數(shù)據多且雜缺少統(tǒng)一管理平臺，業(yè)務人員缺乏技術支持，對底層數(shù)據結構不熟悉只能通過技術人員提數(shù)，效率很低。那么一款基于自然語言的智能云搜索系統(tǒng)對于企業(yè)的價值是不可估量的。
　　本系統(tǒng)基于大數(shù)據平臺通過新建移動行業(yè)專業(yè)術語詞庫、自學習的動態(tài)語義網解析模型，采用Lucene/Solr分詞服務器，實現(xiàn)了使用人員可以輸入自然語言檢索

4、經分數(shù)據。通過動態(tài)語義網語義解析模型，系統(tǒng)可自動收集、分析、豐富詞條語義，持續(xù)完善“自然語言與技術語言”對應詞庫。利用元數(shù)據配置庫和統(tǒng)一計算框架實現(xiàn)異構數(shù)據訪問，融合文件、傳統(tǒng)數(shù)據庫、XML、MPP和HADOOP等結構化/非結構化的多種類型平臺數(shù)據，信息查詢服務由平臺統(tǒng)一提供；利用智能任務協(xié)同，實現(xiàn)查詢分布式處理，快速響應信息查詢服務。系統(tǒng)還通過利用Spark Streaming流處理技術，采用內存索引方式，建立后臺數(shù)據的增量索引更新機