動車組大數據清洗關鍵技術研究與實現.pdf

1、近年來，隨著我國高速鐵路動車組的大規(guī)模投入使用，動車組各種監(jiān)測數據呈現爆炸式增長。同時，動車組閘片、車輪、轉向架等主要部件產生的工作狀態(tài)數據是動車組故障診斷、壽命預測、知識推理等工作的基礎，對整個鐵路的信息化發(fā)展起著舉足輕重的作用。但是，數據質量問題并沒有得到應有的重視，觀察監(jiān)測到的動車組數據發(fā)現，其中存在著數據不完整、信息冗余、含有非法數據等質量問題，使得基于動車組數據分析的工作產生錯誤的分析結果，影響了信息服務的質量，因此，對動車組

2、數據進行清洗具有一定的理論和現實意義。
　　本文主要研究動車組數據中含有非法數據，即離群點的情況。由于傳統(tǒng)的清洗算法在處理大數據時性能較差，因此本文引入了Hadoop分布式計算框架，該框架的Map/Reduce編程模型能夠與本文的算法完美結合。針對動車組數據量大、維數較多和數據類型多樣等特點，提出了基于網格的LOF離群點檢測算法。由于數據集中的大部分數據不是離群點，因此對整個數據集進行離群點檢測是沒有必要的，而基于網格的LOF離群

3、點檢測算法能夠先刪除一部分不包含離群點的數據，即進行網格剪枝，再對剩余的數據集進行離群點檢測，大大減小了算法的時間復雜度。本文針對基于網格的LOF離群點檢測算法提出了如下改進:首先，針對網格剪枝中網格密度定義的不嚴謹性，提出了聚類半徑的概念，通過這個改進能夠避免漏檢離群點，大大提高檢測精度;其次，針對LOF算法不能與MapReduce編程模型很好結合的情況，提出了網格編號的概念，通過網格編號，把整個數據集劃分為若干個被標記的小數據集，使