论文部分内容阅读
据2013年互联网数据中心报告显示,预计到2020年全球的数据总量将超过40ZB,这一数据量是2011年的22倍,如何从海量数据中快速抽取出用户所需要的信息是一个重要的研究课题。关键词抽取是快速获得文档核心语义的重要手段,是自然语言处理和信息检索等领域的重要组成部分,有着很高的理论和应用价值。现有的关键词抽取算法多集中于处理学术论文以及新闻等具有一定长度的文本,然而随着社交媒体的蓬勃发展,类似于新浪微博的微型博客在我们生活中发挥着越来越重要的作用。传统的长文本关键词提取方法不再适用于这样的短文本,并且也没有提取社交媒体话题关键词的现有方法。为了解决类似于新浪微博之类的中文社交媒体话题关键词的抽取问题,本文做了如下几个方面的工作:提出了基于图模型的话题关键词抽取方法。根据词语的同现关系构建微博文本的图模型,采用改进的TextRank算法,即根据顶点的词性以及是否为命名实体赋予其不同的初始权重,抽取出排名靠前的N个词语。接着使用基于改进神经网络语言模型而来的词向量工具:Word2vec进行话题级别的训练,充分利用话题下所有微博之间的语义信息,概括生成最终的微博话题关键词。根据多个基于经典的、非监督的关键词抽取方法而设计的多组对比实验结果来看,该方法有效的提高了微博话题关键词抽取的性能,尤其提高了查全率。提出基于低秩矩阵分解的话题关键词抽取方法。本文创造性地将低秩矩阵分解理论应用于话题关键词的抽取。构造微博话题的关键词矩阵,采用鲁棒性主成分分析(RPCA)算法进行矩阵的分解,获得关键词矩阵的低秩矩阵,得出微博话题的关键词。实验证明,该方法在所有的方法中获得了最高的准确率。构建了微博话题语料库及测试数据集。本文设计了微博文本采集系统,构造了首个微博话题关键词抽取语料库。语料库含有100个热门话题,每个话题下约有12万条有效微博条目。采用人工标注的方式构建了话题关键词抽取测试数据集,总共标注了涵盖社会、娱乐等不同类型的30个话题。设计开发了微博话题关键词抽取与展示系统。利用本文提出的基于图模型的话题关键词提取方法抽取话题关键词,采用B/S架构开发话题关键词展示系统。融入HTML5技术实现了关键词的可视化,建立了微博话题的关键词云。