基于MCNN和BiLSTM的垃圾短信过滤系统

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:cangzhe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动手机的发展与普及,手机短信业务也迅速崛起,虽然目前受到社交平台的冲击,但手机短信依靠其低廉的价格、接收方便和实时性等优势依旧是百姓日常交流不可或缺的媒介,并且越来越多的企业以短信的形式进行广告宣传从而来提高产品的影响力。一方面,短信给百姓日常生活带来了便捷;另一方面,垃圾短信的滥用问题一直困扰着百姓的生活,对和谐社会造成了一定的危害。为了给用户营造一种干净良好的短信通信环境,对垃圾短信进行研究和过滤是有必要和迫切的。本文研究的重心是利用深度学习模型与文本分类相关的技术相结合为短信过滤所用。首先在模型输入端,针对短信这种特殊数据,对噪声内容信息进行匹配并替换成正常文本内容为特征选择等后期操作打好基础。针对传统的词频-逆文件频率(Term Frequency-Inverse Document Frequency,TF-IDF)特征选择算法忽略了特征词在某一个类别中不同类别间的分布信息的缺点,在TF-IDF算法基础上进行了改进。针对短信中短文本导致的特征稀疏问题,采用了基于词向量的特征扩展方法,对短信中的长文本采用特征缩减的方式,这不仅避免了短信中短文本特征稀疏的问题,还降低了模型训练时对计算机软硬件资源的消耗。然后,采用BiLSTM-MCNN来进行模型训练,BiLSTM-MCNN模型不仅增加了语义特征的丰富性还获取了短信文本的长距离依赖特征。其中多层感知机卷积网络(Multilayer Perceptron CNN,MCNN)是基于卷积神经网络(Convolutional Neural Networks,CNN)基础上的改进模型。最后,在短信类别判定结果上,采取深度学习模型结合自定义短信特征的方式来得到最终结果。实验所使用的训练集、验证集和测试集均来自于用户现实生活当中的数据。为了证明改进算法和深度学习模型的有效性,进行了多次实验对比,评价标准采用是准确率、召回率和F1-Score,最终的结果显示本文提出的特征选择算法和深度学习模型可以提高垃圾短信过滤系统的性能。最后,短信过滤结果采用Flask框架进行展示。
其他文献
A企业是一家拥有十年经营历史的民营企业,员工已过百人,在业界也算小有规模。但A企业的管理却始终停留在“作坊企业”的层面,对此A企业的孙总空降了一位重金聘请的高管赵经理来
【正】交际教学法在20世纪70年代初期产生于欧共体国家中,首先由英国学者提出并形成。经过20多年的发展,它已逐渐成为一种被教育界普遍认同的教学思想、教学方法。其核心是把
对泰达网络系统进行了概述,介绍了HFC双向网络结构的特点,对建设过程中产生的问题进行总结,提出网络在不断的建设、发展、延伸中,会不断地产生一些新问题,需要及时解决、改进和完
本文利用显微分光光度计,对30例615小鼠和L615小鼠淋巴细胞与白血病细胞中的乳酸脱氢酶(LDH)和苹果酸脱氢酶(MDH)进行了定量。取得了单一细胞每平方微米面积上的酶含量。结果
当今的时代是信息化无比重要的时代,信息化的普及,互联网+、物流信息系统功能以及线上销售功能的不断拓展,为电商企业的发展提供了机会,互联网企业迎来了广阔的上升空间,不过,拥有机遇的同时也代表着将面临巨大的挑战,AL集团是国内互联网行业中的佼佼者,对AL集团的财务状况进行研究,也是对互联网技术强势发展背景下的电商企业的发展情况的一次研究。企业财务分析是一种以会计核算为主要方法,以企业财务报表及其他相关
目的:微创牙髓治疗(Minimally Invasive Endodontics,MIE)旨在将微创应用于牙髓治疗的每个阶段,包括:诊断及治疗计划、入路设计、器械使用、以及根尖手术,其目的为最大限度保存牙体硬组织,提高患牙留存率。与传统开髓相比,基于根管口导向的桁架式微创开髓通路是否会影响髓腔和根管系统的脱髓能力、去除碎屑、坏死物以及对根管内细菌的清理能力是目前国内外学者研究的热点。本实验通过对比
随着我国高等教育的快速发展,为进一步提升高校的教学质量,培养出符合新时代所需的创新型人才,加快高校教学管理工作的发展则尤为重要。教学管理作为高校各项管理工作的核心,不仅是提升教学质量的关键所在,更是输出高水平人才的基本保障。在这种形势下,高校应当充分认识到教学管理工作的重要性,不断改革与创新教学管理的方法与思路,从而进一步完善高校教学管理的工作,促进高校整体教学管理水平的提升。本文运用能力成熟度模
目的:本研究通过观察腹针疗法联合认知康训练治疗对脑卒中后轻度认知功能障碍(mild cognitive impairment,MCI)临床治疗效果,探讨腹针疗法治疗MCI理论依据,为推广应用腹针疗法治疗脑卒中后轻度认知障碍提供客观依据。方法:将符合本试验观察要求的脑卒中后轻度认知障碍60例患者随机分成2组,其中观察组30例,对照组30例。在给予神经内科常规治疗的基础上,观察组予腹针疗法联合认知康复
紧紧围绕全面建设小康社会的总体目标,以提高畜产品竞争力、农民增收、农业增效为主攻方向,通过整合资源,优化创新主体,构建布局合理、效能统一、运行高效的新型畜牧业科技创新与
<正> 对科技人员进行准确的考核是为了给每个科技人员做出公正合理的评价。从而为量才录用提供依据,达到人尽其才。但科技人员从事的是与脑力劳动为主的知识生产劳动,知识生