基于Spark的在線欺詐檢測算法設計與實現(xiàn).pdf

1、在大數(shù)據(jù)時代背景下，電子商務、第三方支付等線上業(yè)務爆發(fā)式增長，隨之而來的是日益猖獗的線上欺詐案件，在線欺詐檢測技術作為企業(yè)風控能力的基石，通過對業(yè)務行為建模，更加精準、高效地識別欺詐案件，為廣大用戶和線上平臺挽回損失、規(guī)避風險，發(fā)揮著巨大的作用。
　　由于線上欺詐案件與正常交易的極度不平衡性，在線欺詐檢測需要重點解決不平衡學習問題。除此以外，隨著線上業(yè)務量日益增長，在線欺詐檢測系統(tǒng)作為業(yè)務系統(tǒng)的核心組件，對其性能要求也越來越嚴格，

2、將大數(shù)據(jù)技術和在線欺詐檢測有機結合將極大地提升企業(yè)的風控防御能力。
　　本論文從相關技術介紹切入，詳細討論了包括分布式計算框架Spark，實時流計算組件Spark Streaming在內的大數(shù)據(jù)技術，同時介紹了在線欺詐檢測研究的進展。結合大數(shù)據(jù)背景，本文提出了基于聚類的數(shù)據(jù)集自平衡構建算法和分布式資損敏感Lasso算法，將兩者有機結合基于Spark分布式計算框架進行了實現(xiàn)，并在實際在線欺詐檢測數(shù)據(jù)集上進行了相關指標的測評。

3、　　本論文的主要貢獻有:
　　1)提出了一種基于聚類的數(shù)據(jù)集自平衡增量構建算法，利用增量聚類算法度量類內樣本的相似度，選擇類內具有代表性的多個樣本點構成訓練集，在能夠保留時序數(shù)據(jù)信息的情況下，有效解決在線欺詐檢測數(shù)據(jù)集的類內、類間不平衡等問題;
　　2)結合在線支付欺詐檢測場景，提出了分布式資損敏感Lasso算法，在大數(shù)據(jù)背景下能夠高效地進行模型訓練，并能有效提高在線欺詐檢測模型的資損率;
　　3)基于Spark分布式