面向大數據處理的圖搜索與深度學習算法并行優(yōu)化技術研究.pdf

1、伴隨著信息技術的迅速發(fā)展，數據為王的大數據時代已然到來，戰(zhàn)略需求也發(fā)生了重大改變。數據是與自然資源、人力資源一樣重要的戰(zhàn)略資源，隱含了巨大的經濟價值。如何有效的組織和處理大數據，將對社會經濟的發(fā)展起到巨大的作用。針對各種復雜系統(tǒng)得到的數據，通過數據之間關聯關系整合成一個網絡，因此大數據面臨的科學問題本質上就是網絡科學問題。如何挖掘數據之間的相互關系，并將這種關聯關系進行快速的分析處理是目前的一個研究熱點。圖搜索和深度學習算法在大數據處理

2、中發(fā)揮了至關重要的作用。圖搜索算法對數據網絡進行查詢、聚類、匹配等操作，從而將數據網絡根據數據關聯關系劃分成連通子圖，深度學習算法則對數據連通子圖中紛繁復雜的數據進行特征抽取和分類，從而提取用戶需要的關鍵信息。反之，深度學習算法可以對大數據中的數據進行數據挖掘、特征識別和分類，從而將一些看似孤立的數據劃分為具有各種特征的數據網絡，如蛋白質數據構成的蛋白質網絡、Web數據構成的社會網絡等等，之后圖搜索對這些網絡進行進一步數據挖掘，如求聚集

3、參數、連通子圖、最大獨立子集等等。面對大數據處理，速度成為一個至關重要的問題，因此圖搜索和深度學習的速度優(yōu)化成為當前研究的一個熱點，同時也是一個難點。
　　本文針對大數據的處理，重點對圖搜索和深度學習算法進行了加速研究。首先研究了當前大數據的特點，并調研了相關應用。其次在CPU平臺上利用OpenMP并行模型對圖搜索算法進行并行優(yōu)化，并利用程序的局部性原理、降低同步開銷以及負載均衡的方法對算法進行了并行優(yōu)化。再次針對圖搜索算法訪存不

4、規(guī)則等特性，定制了FPGA算法硬件加速器。提出了使用流水線和多PE（Processing Element，處理單元）消息傳遞的實現方法，并針對硬件流水線并行實現的特點，提出了使用細粒度流水線優(yōu)化的方法。最后對DBN（Deep Belief Nets，深度信念網絡）這一深度學習算法的工作流程進行了介紹，并總結了算法的運算特征。然后使用基于指令集的匯編語言將分類函數翻譯成匯編程序，并對程序進行了性能評估。最后介紹了深度學習算法硬件加速的開發(fā)