海量數據處理技術研究與應用.pdf

1、論文主要是致力于海量數據處理技術的研究與應用，涉及到相關的海量數據存儲、海量數據文件系統、海量數據檢索、海量數據運算、數據可信度方法驗證反饋等內容。同時本論文深入地探討與研究了日前互聯網最為熱門及最具發(fā)展?jié)摿Φ腟NS網絡，比如社交網絡、微博等，并將相關的海量數據處理技術應用到SNS網絡的熱門話題生成系統中。
　　 首先，論文對目前較流行的相關海量數據處理技術與關鍵算法進行深入的探討與研究，涉及到Key-value分布式存儲的研究

2、，Google Bigtable數據模型的研究，Google GFS分布式系統原理的研究，Google MapReduce編程模型的深入研究，以及基于以上技術而實現的優(yōu)秀的開源Hadoop海量數據處理系統框架的研究。
　　 其次，論文還提出了一種改進的可信度方法模型，并通過嚴格的數學推理證明改進算法的適用性、同步單調性及合理性。通過改進的可信度分析方法，可以用來驗證及計算海量數據處理結果可信度的定量值，并反饋于海量數據處理系統，

3、輔助其相關處理算法的改進。改進的可信度方法用于海量數據處理的驗證過程中，一方面克服了傳統可信度方法的一些缺陷（比如在某些情況下出現CF值與條件概率值相矛盾的問題）；另一方面，在海量數據處理的某些特定的應用，其對于相關的算法調整有很好的反饋作用。
　　 最后，論文還完成了一個基于海量數據處理的微博熱門話題生成系統。通過海量數據處理的相關技術，以及編寫相關的MapReduce算法，對原始的海量微博博文數據進行分布式處理，并對生成結果