论文部分内容阅读
近年来,随着通讯技术的发展和智能手机的普及,短信收发量急剧增加,但短信中不乏大量影响人们正常生活的商业广告、诈骗、传销以及影响社会和谐稳定的社会谣言等垃圾信息。对垃圾短信识别方法进行研究,准确地识别和过滤垃圾短信对维护国家安全、社会和谐稳定及人们正常生活秩序具有现实意义和经济效应。传统文本分类技术多采用向量空间模型(Vector Space Model,VSM)与支持向量机(Support Vector Machines,SVM)结合的方法对文本进行分类,但VSM在文本表示上忽视了词序、语法、语义等特征对文本分类的影响,而Word2vec模型通过训练词向量将词从高维空间分布式地映射到低维空间,解决了VSM在文本表示上的不足,且纠正了词与词之间正交的不恰当关系。鉴于Word2vec模型训练的词向量在文本表示上的优势,本文在其基础上设计了PTF-IDF加权词向量的短信文本表示方法,并基于深度学习理论设计了一个卷积神经网络(Convolutional Neural Network,CNN)的垃圾短信识别模型。本文的主要工作如下:(1)先将VSM与SVM结合的传统文本分类技术应用于垃圾短信识别方法的初步探索。通过对短信原始数据集进行文本去重、数据清洗、中文分词、词性标注等预处理后,从原始短信数据集中抽取20000条短信作为实验数据集,并基于VSM思想构建文档-词频矩阵对短信文本进行向量表示。随后将实验数据集划分为训练集和测试集两部分,构建SVM分类模型进行模型训练及测试。采用分类评价指标精确率P、召回率R、F1值对模型分类结果进行评价,评价结果表明VSM在文本表示上的局限性限制了模型分类的效果。(2)在短信文本表示方法方面,考虑到短信具有篇幅短,特征词稀少,前后语义关联性强等特点,若将Word2vec模型训练的词向量直接用于短信文本表示将无法衡量不同词向量对文本的贡献程度,且单纯的词向量无法涵盖更多的文本语义信息。本文将词性特征作为文本语义的补充部分,通过在传统TF-IDF(Term Frequency-Inverse Document Frequency)算法中引入词性贡献因子进行改进,使得从词性和词频两个角度来计算词向量的特征权重,并基于此设计了PTFIDF加权词向量的短信文本表示方法。在将该短信文本表示方法用于SVM模型分类实验中,通过调节不同词性的贡献因子值,在模型分类效果最好时取得一组词性贡献因子值:0.6、0.3、0.2。将PTF-IDF加权词向量模型与TF-IDF模型、均值词向量模型、TF-IDF加权词向量模型进行对比实验,验证了PTF-IDF加权词向量在短信文本表示上具有优势。(3)在短信分类模型方面,基于深度学习理论设计了一个CNN的垃圾短信识别模型。在输入层,根据词性贡献因子值:0.6、0.3、0.2来计算词向量的PTFIDF权重,并将其与词向量一起将短信文本表示成二维矩阵作为CNN模型的输入。在卷积层,设计了三个不同尺寸的卷积核来提取短信不同粒度的局部特征,提高了特征提取的精度。在池化层,采用1-Max pooling策略进一步提取短信文本最具代表性的特征,最后将这些最具代表性的特征在全连接层进行拼接输入到Softmax层实现垃圾短信的识别。在实验中设计了多组实验进行对比,验证了本文设计的CNN模型在精确率、召回率、F1值上都有所提高,分别达到97.01%、94.10%、95.53%。