基于副本選擇的大數(shù)據(jù)實(shí)時(shí)查詢(xún)處理并行調(diào)度.pdf

1、Cloudera Impala是一個(gè)開(kāi)源的大數(shù)據(jù)實(shí)時(shí)查詢(xún)系統(tǒng)。Impala使用HDFS作為底層存儲(chǔ)管理器。HDFS會(huì)對(duì)文件進(jìn)行分塊，并為每個(gè)塊創(chuàng)建多個(gè)副本。數(shù)據(jù)多副本可提高系統(tǒng)的容錯(cuò)性能，并能提供負(fù)載均衡。然而，數(shù)據(jù)多副本條件下的查詢(xún)處理并行調(diào)度將變得更加復(fù)雜。Impala的并行調(diào)度包括兩步:副本選擇和執(zhí)行節(jié)點(diǎn)選擇。在副本選擇的過(guò)程中，Impala未考慮通信代價(jià)和集群負(fù)載，可能延長(zhǎng)響應(yīng)時(shí)間。針對(duì)現(xiàn)有的查詢(xún)處理并行調(diào)度方法存在未考慮數(shù)據(jù)多

2、副本的問(wèn)題，本文提出了基于副本選擇的大數(shù)據(jù)實(shí)時(shí)查詢(xún)處理并行調(diào)度方法。該方法將所有查詢(xún)分為單表查詢(xún)和多表查詢(xún)兩類(lèi):若是單表查詢(xún)，則首先根據(jù)數(shù)據(jù)分布構(gòu)造流網(wǎng)絡(luò)，然后使用SRPushRelabelBinary算法選擇副本，最后選擇執(zhí)行節(jié)點(diǎn);若是多表查詢(xún)，則結(jié)合代價(jià)模型搜索近似最優(yōu)調(diào)度策略。本文定義查詢(xún)處理的代價(jià)為從查詢(xún)開(kāi)始處理時(shí)刻到預(yù)估所有連接操作完成時(shí)刻的時(shí)間間隔。其包括讀磁盤(pán)操作的執(zhí)行時(shí)間、選擇操作的執(zhí)行時(shí)間、網(wǎng)絡(luò)傳輸?shù)臅r(shí)間和連接操作的執(zhí)