流形學習的鄰域選擇和增量算法研究.pdf

1、隨著信息技術的快速發(fā)展，真實世界中數據的規(guī)模也在以幾何級的速度增長，出現了大量的高維數據，這些數據具有高維稀疏性。數據的這種高維稀疏性給現代數據分析與處理帶來巨大挑戰(zhàn)。數據降維是許多高維數據分析任務的預處理階段之一，然而隨著維數的不斷膨脹，傳統(tǒng)的線性數據降維方法已不能滿足需求，需要找到新的降低數據維數的方法。流形學習就是一種新的菲線性降維技術，即通過分析高維觀測空間中樣本集的外在特性來發(fā)掘隱藏在其中的本質結構，從而得到有用的信息，它已經

2、成為大規(guī)模海量高維數據預處理的關鍵技術。近年來，基于不同理論和方法的流形學習算法已經取得了較好的研究成果，能更好地挖掘隱藏在高維數據中的低維流形結構。
　　然而，流形學習的這些算法仍然存在一些問題，如根據流形結構自適應地構建鄰域關系圖直接關系到流形低維本征結構的有效重構;基于矩陣譜分解的方法不能得到數據集從原采樣空間到本征結構空間對應的顯式映射函數，對不斷增加的新采樣點得到其低維嵌入值是困難的。這些流形學習領域中的重要問題，理論上

3、和應用上都值得關注。本文就這兩個問題展開了研究，具體貢獻如下:
　　(1)針對傳統(tǒng)鄰域選擇方法不能根據流形樣本密度和彎曲度合理選擇鄰域的缺點，提出了一種有序自適應的鄰域選擇算法。該算法從流形上曲率最小的點開始，以寬度優(yōu)先的次序不斷地處理每個點。根據流形結構的局部線性特性，利用已有的鄰域信息增量地對搜索到的數據點選擇合適的鄰域。實驗結果表明:該方法應用于Isoma后，對不同結構的數據集嵌入結果更加準確。
　　(2)基于人的認知

4、，提出了一種保持局部鄰域關系的增量Hessian LLE(LIHLLE)算法，該方法通過保證流形新增樣本點在原空間和嵌入空間局部鄰域的線性關系不變，用其已有鄰域點的低維坐標線性表示新增樣本點，得到新增點的低維嵌入，實現了增量學習。在Swiss roll with hole和frey_rawface數據集上的實驗表明本文提出的方法簡便、有效可行。
　　(3)基于Isomap算法全局保距的思想，提出了局部保距的增量Isomap算法（L

5、I-Isomap），該算法通過保證新增點在各個鄰域方向的徑向距離不變，最小化新增點與鄰域點間夾角在原空間和嵌入空間的差來實現增量學習，給出了目標函數，通過解最優(yōu)化問題得到新增點的低維嵌入，在Swiss roll和frey_ rawface數據集上的實驗表明該方法合理高效。
　　總之，本研究通過對不同流形結構的探討，提出了一種普適性較強的自適應鄰域選擇算法，為大多數流形學習算法提供參考和技術支持;對已有的一些流形學習算法進行擴展，提