基于相似性連接的大數(shù)據(jù)集成系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的迅猛發(fā)展，現(xiàn)代的互聯(lián)網(wǎng)每天都產(chǎn)生大量的數(shù)據(jù)，引發(fā)了人們對(duì)大數(shù)據(jù)集成的需求。人們提出了新的分布式文件系統(tǒng)來(lái)存儲(chǔ)海量數(shù)據(jù)，并在分布式文件系統(tǒng)之上提出了很多并行計(jì)算方法來(lái)解決大數(shù)據(jù)計(jì)算帶來(lái)的挑戰(zhàn)。其中最具有代表的是Google提出的MapReduce計(jì)算框架。相似連接是數(shù)據(jù)集成中的一個(gè)重要操作，是指在組數(shù)據(jù)源中尋找滿足一定相似度閾值的記錄對(duì)，常被用于數(shù)據(jù)清洗、去重和實(shí)體識(shí)別等數(shù)據(jù)集成操作中。然而隨著數(shù)據(jù)規(guī)模的增長(zhǎng)，檢測(cè)這種相似記

2、錄對(duì)成為了一種挑戰(zhàn)，因?yàn)樵絹?lái)越多的應(yīng)用需要處理海量的數(shù)據(jù)通常不能在一臺(tái)機(jī)器上實(shí)現(xiàn)。相似連接計(jì)算本身可以使用并行計(jì)算模型進(jìn)行處理，因此使用MapReduce計(jì)算框架可以很好的解決大規(guī)模數(shù)據(jù)集上相似連接計(jì)算性能問(wèn)題，提高計(jì)算效率。
　　本文以海量論文數(shù)據(jù)為研究對(duì)象，基于相似連接技術(shù)設(shè)計(jì)了大數(shù)據(jù)集成系統(tǒng)，用于有效集成海量數(shù)據(jù)。系統(tǒng)基于MapReduce計(jì)算框架實(shí)現(xiàn)，用來(lái)解決實(shí)體識(shí)別的問(wèn)題，核心功能包含三個(gè)處理階段:首先從若干數(shù)據(jù)源中發(fā)現(xiàn)

3、所有滿足相似度閾值的記錄對(duì)，這些工作是基于相似連接技術(shù)實(shí)現(xiàn)的。然后對(duì)相似記錄對(duì)進(jìn)行劃分，得到相似子圖。最后在子圖上進(jìn)行實(shí)體采樣，完成實(shí)體識(shí)別。本文重點(diǎn)研究了分布式環(huán)境下的集合相似連接和MapReduce任務(wù)優(yōu)化兩個(gè)問(wèn)題。針對(duì)MapReduce下相似連接，本文在前綴過(guò)濾和位置信息過(guò)濾的基礎(chǔ)上，提出了全前綴過(guò)濾及擴(kuò)展后綴過(guò)濾的過(guò)濾算法，設(shè)計(jì)了一種基于管道的混合過(guò)濾框架，通過(guò)降低候選對(duì)數(shù)量提高相似連接效率。對(duì)于MapReduce任務(wù)，本文從兩

4、個(gè)方面進(jìn)行了優(yōu)化:通過(guò)數(shù)據(jù)壓縮降低了集群節(jié)點(diǎn)之間的網(wǎng)絡(luò)開(kāi)銷(xiāo);通過(guò)任務(wù)負(fù)載均衡提高了任務(wù)的并行效率。最后本文在大數(shù)據(jù)集成系統(tǒng)的基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了知識(shí)產(chǎn)權(quán)搜索原型系統(tǒng)。
　　為了測(cè)試本文提出了基于MapReduee計(jì)算框架的相似連接算法和任務(wù)調(diào)度策略的性能，本文使用DBLP和Citeseerx真實(shí)數(shù)據(jù)集進(jìn)行大量對(duì)比實(shí)驗(yàn)。通過(guò)實(shí)驗(yàn)，我們比較了不同相似連接算法的時(shí)間開(kāi)銷(xiāo)。實(shí)驗(yàn)結(jié)果表明本文提出的相似過(guò)濾框架和負(fù)載均衡算法隨著數(shù)據(jù)規(guī)模的增加性