基于哈希編碼的文本拷貝檢測算法優(yōu)化與實現.pdf

1、隨著社交網站及各種服務型網站的迅速興起，各類用戶生成內容(UGC)大量生成，而這些內容是用來進行數據挖掘、情感傾向分析等工作的重要數據來源。然而，由于這些內容中充斥著大量重復信息，這對數據挖掘等工作帶來極大的挑戰(zhàn)和性能瓶頸。因此，如何通過對文本進行拷貝檢測，從而快速有效的提取出文本中的重復內容成為一個亟待解決的問題。在進行文本拷貝檢測的過程中，首先要對文本進行特征提取和向量化操作。本文中將一個漢字或一個英文單詞作為文本的一維特征，從而將

2、文本轉化為高維空間中的向量。由于計算量的限制，直接進行文本向量的比較在大規(guī)模文本下是不可行的，需要找到一種快速的計算方法。
　　基于哈希的算法由于其簡單有效、計算快速的特點，在文本拷貝檢測的研究中應用十分廣泛?；诠５奈谋究截悪z測算法的一般步驟是將代表原始文本的高維向量映射到低維的哈希空間中，利用所得哈希編碼距離來反映原始文本的相似度，因此，基于哈希的算法本質上是一種降維方法。
　　本文提出了一種新的文本拷貝檢測算法，能夠

3、快速有效的完成微博、評論等短文本的文本拷貝檢測任務，該算法為優(yōu)化qSign算法。本文首先介紹了基本的qSign算法以及目前針對qSign算法的一種優(yōu)化，并指出了其優(yōu)化過程中存在的三個問題。本文提出的優(yōu)化qSign算法能有效的解決這三個問題，并且能夠取得比目前存在的文本拷貝檢測算法更好的實驗效果。優(yōu)化qSign算法需要解決一個大規(guī)模高維非線性優(yōu)化問題，難以對其直接進行優(yōu)化求解，因此，采用合適的算法對該優(yōu)化問題進行求解是優(yōu)化qSign算法面

4、對的主要難點。本文實現了馬爾科夫鏈蒙特卡洛算法，通過聚類的方式間接解決了該優(yōu)化問題，取得了不錯的結果。最后，本文介紹了幾種經典的基于哈希編碼的文本拷貝檢測算法，包括局部敏感哈希、最小哈希、譜哈希以及語義哈希，并介紹了每種哈希算法的代碼實現。
　　本文共進行了三組實驗，分別比較了各種拷貝檢測算法的實驗對比、qSign算法及其優(yōu)化系列的實驗對比以及本文提出的優(yōu)化算法中不同參數選擇的實驗結果對比。實驗結果表明，本文提出的優(yōu)化算法只需進行