大數(shù)據(jù)存儲結構及查詢優(yōu)化研究.pdf

1、大數(shù)據(jù)不僅需要海量存儲的系統(tǒng)，而且需要高速的數(shù)據(jù)加載、快速的查詢處理、存儲空間的高利用率以及適應動態(tài)高負載。由于傳統(tǒng)關系型數(shù)據(jù)庫在管理大數(shù)據(jù)時遇到各種困難和阻礙，新型分布式系統(tǒng)應運而生。但在大數(shù)據(jù)存儲和查詢仍有不足之處，本文從數(shù)據(jù)存儲結構和MapReduce作業(yè)相關性兩個方面對分布式系統(tǒng)下大數(shù)據(jù)存儲結構及查詢優(yōu)化分析研究。
　　在分布式系統(tǒng)中，數(shù)據(jù)存儲結構直接影響大數(shù)據(jù)的存儲效率和處理性能。行式存儲結構下，數(shù)據(jù)從本地讀取，加載速度

2、快，但壓縮效率低且加載了多余數(shù)據(jù);列式存儲結構下，數(shù)據(jù)壓縮效率高，但數(shù)據(jù)跨節(jié)點訪問增加了網絡傳輸消耗。針對行式存儲結構和列式存儲結構的特點，提出一種以行列結合的存儲方式，對數(shù)據(jù)存儲結構進行改進。通過理論比較分析，行列結合存儲在數(shù)據(jù)加載速度上略低于行式存儲;在數(shù)據(jù)壓縮效率上，比行式存儲和列式存儲的效率都高。行列結合的存儲結構不僅避免行式存儲的額外磁盤I/O開銷，同時也減少了列式存儲不必要的網絡傳輸，極大地提高分布式系統(tǒng)對大數(shù)據(jù)存儲效率及處