關(guān)鍵模塊SVM研究

短信預(yù)處理模塊和SVM模塊,實現(xiàn)以下功能: (1)短信預(yù)處理模塊。在短信預(yù)處理模塊中對嫌疑短信進行前期處理,完成分詞、文本表示和特征選擇,把嫌疑短信表示成計算機能夠處理的形式。 (2)SVM模塊。因為支持向量機具有較高的分類精度,但在處理大規(guī)模數(shù)據(jù)集時有收斂速度較慢的特點,在SVM模塊中對嫌疑短信進行離線分類,將其用于校對和補充貝葉斯模塊的判定結(jié)果,并計算關(guān)鍵詞的權(quán)重,更新關(guān)鍵詞庫,以提高垃圾短信過濾準(zhǔn)確率。[3][4] 本文結(jié)合短信文本的特點，提出了基于支持向量機的短信分類方法以及實現(xiàn)步驟。基于支持向量機的短信分類是通過提取短信文本內(nèi)容，將短信識別看作文本的兩分類問題，利用支持向量機方法對訓(xùn)練短信集進行訓(xùn)練學(xué)習(xí)，得到分類模型以及決策函數(shù)，再利用得到的分類模型對待分類短信進行分類，識別短信的屬性，即判斷短信是否屬于垃圾短信的過程。其具體實現(xiàn)主要分為兩個階段，即訓(xùn)練階段和分類階段。如下圖1所示： 基于支持向量機的短信分類過程需要經(jīng)過短信預(yù)處理，特征降維，短信文本表示以及構(gòu)建分類器四個步驟。首先要對短信訓(xùn)練集和測試集（即已知樣本短信和未知分類短信）進行預(yù)處理，對短信的屬性類別，詞條（即特征）進行統(tǒng)計，然后對特征集進行降維，進而完成特征的向量表示。在對樣本特征集進行訓(xùn)練學(xué)習(xí)的過程中，根據(jù)訓(xùn)練集中的樣本點計算出參數(shù)，從而得到分類模型（二元分類器）。接下來進行的分類階段，通過分類模型的決策函數(shù)對未知的待分類樣本進行分類，以判別待分類短信是否屬于垃圾短信。