基于hadoop的連接算法中數(shù)據(jù)傾斜問題的研究.pdf

1、時至今日，隨著各項科學技術的飛速發(fā)展，大數(shù)據(jù)處理的需求日益增長。hadoop map/reduce作為一個并行數(shù)據(jù)處理框架，被越來越多的應用到分布式數(shù)據(jù)處理當中。map/reduce是一個高效的，可擴展的，高容錯的并行編程模型，并且十分易于使用。連接操作作為數(shù)據(jù)處理中一種十分重要的操作，在傳統(tǒng)數(shù)據(jù)庫中已經(jīng)得到了很多的研究，由于map/reduce自身框架的原因，它并不能很好地支持連接操作。如今已經(jīng)有很多map/reduce框架下的連接算

2、法，但是這些算法大多沒有很好地處理數(shù)據(jù)傾斜問題，當數(shù)據(jù)傾斜存在時，會導致數(shù)據(jù)分布不均勻，降低了分布式算法的執(zhí)行效率。
　　本文首先簡要的介紹了數(shù)據(jù)傾斜問題的影響。然后針對兩表等值連接提出了分區(qū)連接算法，該算法基于分而治之的思想將傾斜數(shù)據(jù)和非傾斜數(shù)據(jù)區(qū)別對待，結合了傳統(tǒng)連接算法、廣播連接算法等算法思想，很好的解決了數(shù)據(jù)傾斜情況下任務負載分布不均勻的問題。接著，針對多表等值連接中的數(shù)據(jù)傾斜問題，我們利用范圍哈希以及單輪map/redu