论文部分内容阅读
近些年来,随着移动互联网的普及,网民数量不断攀升,自媒体内容的日均生成量随着自媒体参与人数的提高也成指数性地上涨。自媒体海量数据为广大网民提供了很好信息来源的同时,也为自媒体平台带来了信息处理上的难题。以往通过人工进行审核和梳理的数据处理方式已经不能满足庞大自媒体数据的处理需求,如何对这些自媒体内容进行高效的梳理,成为了许多自媒体平台的重点和难点。文本分类等自然语言处理(Natural Language Processing,NLP)技术的发展为自媒体平台提供了良好的解决思路。文本分类任务要求计算机按照文本主题对文本内容进行自动分类,这很好地契合了自媒体数据梳理的需求,自媒体文本分类任务也就应运而生。而自媒体文本分类的研究存在两个特点。一是自媒体文本分类采用的算法大多是传统的分类算法,应用神经网络进行分类的研究相对较少;二是自媒体文本分类的研究大多针对某一特定场景的自媒体文章,例如药品广告分类、低质量文章分类等,极少有针对自媒体文体进行文本分类的一般性研究。于是,本文采用结构灵活的神经网络算法,利用自媒体文体结构信息,设计出不限于特定场景的自媒体文本分类算法。事实上,无论是自媒体博客,还是自媒体新闻,又或是微信公众号等自媒体文章,为了更好的捕获读者的关注,自媒体作者往往会为自己的自媒体内容添加一个有特点的标题。这些有特点的标题不如正规新闻标题拥有着高度写实和概括的作用,但是却能在吸引读者的同时,为自媒体正文内容起到很好的提示和启发作用。基于此,本文从带有标题的自媒体文本出发,结合自媒体标题启发的特点,运用机器学习和自然语言处理领域的方法,设计出在自媒体领域中进行自动文本分类的算法,提出自媒体领域数据处理的新思路,为自媒体平台数据处理提供参考和建议。本文的主要工作如下:(1)设计标题启发的多层感知机(Multilayer Perceptron,MLP)自媒体文本分类算法。标题启发的多层感知机自媒体文本分类算法采用词袋(Bag of Word)模型进行文本表示,并用LDA(Latent Dirichlet Allocation)主题词提取方法进行特征选择,最终经过本文提出的多层感知机神经网络结构进行分类。在三个公开数据集中,对比普通基于多层感知机的神经网络表现,本文设计的基于标题启发的多层感知机自媒体文本分类算法都有更加优越的表现,证明了本文提出的标题启发的文本分类算法的正确性。区别于公开数据集,进一步收集现实中的自媒体数据,对标题启发的多层感知机自媒体文本分类算法在现实的自媒体文本领域内进行验证。实验证明,本文设计的基于标题启发的多层感知机自媒体文本分类算法对比原始多层感知机算法能够更好地完成自媒体领域内的文本分类任务。(2)设计了标题启发的LSTM(Long Short-term Memory Network)自媒体文本分类算法。在文本表示和神经网络算法两个角度,在标题启发的多层感知机神经网络的基础上,更进一步的提出以word2vec为基础的标题启发的LSTM自媒体文本分类算法。一方面word2vec弥补了词袋模型中缺失的部分语序和语义信息,从文本表示的角度提升了输入信息的丰富程度;另一方面应用LSTM神经网络结构替换多层感知机神经网络结构,从神经网络结构上提高文本处理方面的能力。自媒体数据实验表明,标题启发的LSTM自媒体文本分类算法在自媒体文本分类的表现上确实好于标题启发的多层感知机自媒体文本分类算法。同时,对比原始的LSTM文本分类算法,标题启发的LSTM自媒体文本分类算法也有更好的表现。验证了标题启发的LSTM自媒体文本分类算法的有效性的同时,进一步验证了标题启发的自媒体文本分类思路的正确性。(3)对比两种标题启发的文本分类算法,总结两次自媒体文本分类实验,对自媒体平台利用机器学习算法进行数据处理提出建议。