動車組大數(shù)據(jù)清洗關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、近年來，隨著我國高速鐵路動車組的大規(guī)模投入使用，動車組各種監(jiān)測數(shù)據(jù)呈現(xiàn)爆炸式增長。同時，動車組閘片、車輪、轉(zhuǎn)向架等主要部件產(chǎn)生的工作狀態(tài)數(shù)據(jù)是動車組故障診斷、壽命預(yù)測、知識推理等工作的基礎(chǔ)，對整個鐵路的信息化發(fā)展起著舉足輕重的作用。但是，數(shù)據(jù)質(zhì)量問題并沒有得到應(yīng)有的重視，觀察監(jiān)測到的動車組數(shù)據(jù)發(fā)現(xiàn)，其中存在著數(shù)據(jù)不完整、信息冗余、含有非法數(shù)據(jù)等質(zhì)量問題，使得基于動車組數(shù)據(jù)分析的工作產(chǎn)生錯誤的分析結(jié)果，影響了信息服務(wù)的質(zhì)量，因此，對動車組

2、數(shù)據(jù)進(jìn)行清洗具有一定的理論和現(xiàn)實(shí)意義。
　　本文主要研究動車組數(shù)據(jù)中含有非法數(shù)據(jù)，即離群點(diǎn)的情況。由于傳統(tǒng)的清洗算法在處理大數(shù)據(jù)時性能較差，因此本文引入了Hadoop分布式計算框架，該框架的Map/Reduce編程模型能夠與本文的算法完美結(jié)合。針對動車組數(shù)據(jù)量大、維數(shù)較多和數(shù)據(jù)類型多樣等特點(diǎn)，提出了基于網(wǎng)格的LOF離群點(diǎn)檢測算法。由于數(shù)據(jù)集中的大部分?jǐn)?shù)據(jù)不是離群點(diǎn)，因此對整個數(shù)據(jù)集進(jìn)行離群點(diǎn)檢測是沒有必要的，而基于網(wǎng)格的LOF離群

3、點(diǎn)檢測算法能夠先刪除一部分不包含離群點(diǎn)的數(shù)據(jù)，即進(jìn)行網(wǎng)格剪枝，再對剩余的數(shù)據(jù)集進(jìn)行離群點(diǎn)檢測，大大減小了算法的時間復(fù)雜度。本文針對基于網(wǎng)格的LOF離群點(diǎn)檢測算法提出了如下改進(jìn):首先，針對網(wǎng)格剪枝中網(wǎng)格密度定義的不嚴(yán)謹(jǐn)性，提出了聚類半徑的概念，通過這個改進(jìn)能夠避免漏檢離群點(diǎn)，大大提高檢測精度;其次，針對LOF算法不能與MapReduce編程模型很好結(jié)合的情況，提出了網(wǎng)格編號的概念，通過網(wǎng)格編號，把整個數(shù)據(jù)集劃分為若干個被標(biāo)記的小數(shù)據(jù)集，使