基于Rough Set的海量數據挖掘算法研究.pdf

1、數據挖掘是從大量的數據中挖掘出有用的或者人們感興趣的知識的一種方法。處理海量數據一直是數據挖掘要解決的一個重要問題。本論文結合RoughSet理論提出了一種直接處理海量數據全集的方法，并研究了分布式處理海量數據中的關鍵問題，即分割海量數據集的問題。 經典的RoughSet算法要求數據常駐內存，因此不能有效地處理海量數據。本論文首先提出了類分布鏈表的結構來表示一個屬性組合對樣本空間的分類情況，類分布鏈表可以通過使用數據庫技術對原始

2、數據集進行直接分類來獲取。通過類分布鏈表，本論文改進了一組RoughSet知識約簡算法，從而使它們能夠直接處理海量數據集。類分布鏈表的方法還可以作為一種框架擴展到其它的RoughSet算法來提高這些算法的可伸縮性，同時不影響它們的正確性。 在分布式處理海量數據中，關鍵的第一步就是如何有效地將原始海量數據集分割成許多可以在單機上處理的數據子集。本論文根據RoughSet的特點提出了最佳分割的定義，然后提出了一種海量數據分割算法來尋