基于Hadoop和Django的大數(shù)據(jù)可視化分析Web系統(tǒng).pdf

1、互聯(lián)網(wǎng)的發(fā)展讓數(shù)據(jù)量呈現(xiàn)指數(shù)增長，當(dāng)今世界，人類已經(jīng)進(jìn)入大數(shù)據(jù)的時代，如何從海量的數(shù)據(jù)里發(fā)掘有價值的信息變的至關(guān)重要。將抽象和結(jié)構(gòu)復(fù)雜的數(shù)據(jù)變成易于人類理解的信息是數(shù)據(jù)可視化技術(shù)研究的主要內(nèi)容。數(shù)據(jù)可視化技術(shù)是大數(shù)據(jù)領(lǐng)域的研究熱點(diǎn)之一,有著巨大的研究價值和應(yīng)用價值。本文結(jié)合實際的大數(shù)據(jù)可視化項目，探究了如何使用開源的Django Web框架構(gòu)建基于Hadoop計算平臺的大數(shù)據(jù)可視化分析Web系統(tǒng)，詳細(xì)介紹了系統(tǒng)的設(shè)計方案，并分模塊介紹了

2、設(shè)計內(nèi)容。針對系統(tǒng)內(nèi)測階段暴露出的問題，從多個方面進(jìn)行了優(yōu)化和改進(jìn)，包括前端性能優(yōu)化、Django應(yīng)用層優(yōu)化、PostgreSQL數(shù)據(jù)庫優(yōu)化等，總結(jié)出了大量的Web系統(tǒng)優(yōu)化經(jīng)驗,具有一定的借鑒意義。
　　項目中Web系統(tǒng)的數(shù)據(jù)源來自于Hadoop計算平臺。Hadoop計算平臺對成千上萬的數(shù)據(jù)處理任務(wù)進(jìn)行調(diào)度，調(diào)度算法的好壞直接影響數(shù)據(jù)處理的效率。本文研究了Hadoop平臺作業(yè)調(diào)度算法。首先深入分析了Hadoop計算平臺三種常用的作

3、業(yè)調(diào)度算法先進(jìn)先出調(diào)度算法、公平份額調(diào)度算法、計算能力調(diào)度算法的算法原理和各自的優(yōu)缺點(diǎn)，隨后分析了包含“移動計算”思想的延遲調(diào)度算法比三種常用調(diào)度算法的優(yōu)秀之處和自身的不足，在延遲調(diào)度算法的基礎(chǔ)上提出了一種考慮節(jié)點(diǎn)負(fù)載情況的改進(jìn)型延遲調(diào)度算法，給出了算法分析和仿真結(jié)果，證明改進(jìn)型延遲調(diào)度算法帶來更高的作業(yè)調(diào)度效率，具有一定的實用價值。
　　最后，對項目的架構(gòu)相關(guān)問題進(jìn)行了分析，這些問題包括前后端存在職責(zé)不清晰的現(xiàn)象，前后端代碼之間