论文部分内容阅读
随着通信与信息技术的高速发展,朝气蓬勃的互联网行业以其良好的实时性和动态性广受欢迎。而网络媒体凭借着网络对信息传播的迅速和低成本,使得用户更加青睐于这个新兴的行业。同时,作为网络信息传播的一大渠道,以推特为代表的社交媒体在全球的许多行业中起到了越来越重要的作用。所以,从社交媒体的海量信息中如何高效地提取出有用信息引起了研究者的注意。然而,推特在为研究者提供文本信息来源的同时,也有许多不同于普通文本的处理困难。一方面,通过观察推文发现,大部分推文是无意义的噪声信息和重复冗余的无效信息,如用户之间的闲聊、转发等。另一方面,社交网络是开放、非正式的媒体,用户在使用推特时具有随意性,其发表的文字内容也会受到各种因素的影响,产生了大量的不规范单词。本文通过对原始推文的统计与分析,分别从不规范单词和垃圾推文两种角度出发,就推特中的文本污染信息提出了一种有效的解决方案。本文主要贡献如下:(1)通过传统的拼写纠错技术与词向量模型相结合,提出了结合语义信息对不规范单词进行处理的方案。该方法针对最短编辑距离方法难以处理词形差异较大的不规范单词,使用了单词的语义信息进行规范化处理。另外,本文设计并实现了判别不规范单词方案,并结合一些辅助工具,大幅缩小了需要比较语义相关性的单词范围,实现了提高单词规范化速度的方案。在对推特中的单词进行规范化实验中,验证了通过词向量之间的余弦距离实现单词规范化的方案具有一定的实际意义。(2)通过词向量与卷积神经网络相结合的方法,形成了一个相对完整有效的对推特中的垃圾推文进行过滤的方案。探究卷积神经网络在推文过滤方面的应用,基于推文的文本特征少于图片特征的特点,本文将卷积神经网络中常用的池化层替换为压平层,减少池化损失。在实验中,使用了项目研究中标记好的多份实际推文训练集进行测试,证明了分类器的效果有一定的提升,而且在不需要过多的调节参数时就能达到较好的结果。