多層隨機森林算法在電信離網(wǎng)預測中的應用.pdf

1、在電信運營商領域，離網(wǎng)預測是企業(yè)決策者用來發(fā)現(xiàn)潛在離網(wǎng)用戶（即停用運營商服務）的主要手段。目前，離網(wǎng)預測都是基于特征工程和傳統(tǒng)機器學習算法，例如邏輯回歸、決策樹、神經(jīng)網(wǎng)絡及隨機森林等。其中，隨機森林算法憑借其能同時處理離散和連續(xù)的特征輸入、分布式訓練速度快及有較高預測準確度等良好特性，在電信離網(wǎng)預測系統(tǒng)中得到廣泛應用。因此，改善隨機森林算法，進一步提升離網(wǎng)預測的準確度，是本文的主要研究內容。
　　近年來，大數(shù)據(jù)驅動的深度學習框架在

2、預測問題上獲得巨大成功，主要原因是多層次深度神經(jīng)網(wǎng)絡能夠從大量數(shù)據(jù)中組合出豐富的非線性特征，從而提升分類預測決策的準確度。受到深度學習的啟發(fā)，本文聚焦回答一個問題：是否能夠構造一個多層次隨機森林算法來獲取更好的特征進而得到比單層隨機森林更高的離網(wǎng)預測準確度？本文提出了兩種多層隨機森林算法，一種是多層分類森林算法，另一種是多層回歸森林算法，并在運營商真實用戶數(shù)據(jù)上驗證這兩種算法的離網(wǎng)預測精度。實驗數(shù)據(jù)選用連續(xù)兩個月的預付費用戶數(shù)據(jù)（每個月

3、大概210萬條數(shù)據(jù)），其中將前一個月數(shù)據(jù)用作訓練集，而將后一個月數(shù)據(jù)用作測試集。實驗結果表明，多層隨機森林比單層隨機森林具有更高的離網(wǎng)預測準確度，其中四層隨機森林與單層隨機森林相比，在PR-AUC值上有6.82％的提升。綜上所述，本文的創(chuàng)新點包括：
　　1）本文提出了一種新的多層隨機森林算法——多層分類森林，通過級聯(lián)的方式，將隨機森林分類器構造成多層結構算法模型，并用前一層的輸出作為下一層的輸入。在離網(wǎng)預測結果上，四層分類森林與單

4、層隨機森林對比，PR-AUC值提升了4.13%。
　　2）類似多層分類森林算法，本文基于Gradient Boosted Regression Tree(GBRT)思想，提出多層回歸森林算法。通過級聯(lián)方式，將后面每一層的回歸森林目標函數(shù)設置成標簽值與之前所有層結果之和的殘差，通過每一層不斷縮小殘差回歸的誤差來提升算法的預測能力。在離網(wǎng)預測的實驗結果中，四層回歸森林的預測準確度要高于四層分類森林，相對于四層分類森林，PR-AUC值提

5、升了2.57%。
　　3）通過大量離網(wǎng)預測實驗對比，發(fā)現(xiàn)以下現(xiàn)象：a)對比在不同數(shù)據(jù)量（分別是1個月、2個月、3個月及4個月）的訓練集下多層分類森林及多層回歸森林在離網(wǎng)預測問題上預測結果，發(fā)現(xiàn)隨著訓練數(shù)據(jù)量的倍數(shù)增長，兩種多層算法在預測精度上的提升幅度要高于單層隨機森林（例如同樣是用四個月的數(shù)據(jù)量與一個月的數(shù)據(jù)量進行對比，單層隨機森林預測結果的PR-AUC值提升了4.80%，而四層分類森林提升了6.09%，四層回歸森林更是提升了6

6、.58%），證實了在大數(shù)據(jù)量下，多層模型較單層模型有更強的特征學習能力；b)對比在不同的時間延遲上（分別是后面第一個月、后面第二個月、后面第三個月及后面第四個月）多層分類森林及多層回歸森林預測結果，發(fā)現(xiàn)隨著時間延遲的線性增長，兩種算法在離網(wǎng)預測上的預測結果相對于單層隨機森林有更小幅度的下降（例如延遲一個月時，四層回歸森林的 PR-AUC值比單層隨機森林高6.82%，而延遲四個月時，四層回歸森林的 PR-AUC值比單層隨機森林要高39.5