论文部分内容阅读
目前,我国的舆情研究大多都是围绕一般网络舆情展开,主要包括网络舆情的特点、管理、控制与引导、信息收集与分析、监测、预警等方面。近几年也出现了关于主题方面的舆情分析研究,但是大多还是针对于互联网上BBS、电商评论、微博、新闻报道等大众业余网络空间的舆情分析,对于学术领域方面的舆情分析还很少。研究人员在从事科研之前需要阅读大量的学术文献,以便了解目前这一学术领域的最新研究热点。然而面对海量的学术文献,搜索引擎只能帮助用户筛选出符合检索条件的文章列表,科研人员仍然需要通过大量阅读来获得需要的研究热点信息,这需要付出很多时间和精力。本文针对学术专业领域舆情分析缺失和中文专业主题内容挖掘不深的问题,研究面向学术领域的舆情分析关键技术,提出一个新型的面向学术领域的舆情分析算法。首先,根据用户需求,对海量文献进行基于学术特征的检索,获取相关文档集合。然后,本文提出一种基于主题模型的多文档自动摘要算法,通过LDA主题模型获取文档集合中每一篇文档的主题概率分布和每个主题对应的词语概率分布。同时根据主题分布的概率值,选取与文档相关的前几个主题来挖掘文本的浅层语义。然后将主题信息应用到选取摘要候选句的工作中,提出一种基于句子生成概率和文章结构的方法来计算句子的权重。进一步根据LDA得到的词语生成概率,对句子进行概率计算,并针对学术文献不同部分重要度不同,提出改进文档句子权重的方法,从而得到摘要候选句。由于学术文献相似且重要的句子很多,仅仅考虑句子权重得到摘要是不够的,还需要考虑摘要冗余的问题。本文又提出了一种基于最大边缘相关法MMR并结合学术领域特征的冗余控制算法,通过对大量的学术文献进行语料训练,使用学术领域特征的相似度计算对摘要候选句进行多方面的计算评分来选取摘要,最终得到包含各个主题、内容简洁、冗余度低的舆情简报展现给用户。最后,本文开展了验证实验,并与已有的摘要算法进行比较。实验结果表明,该算法可以较好提取学术特征信息,发现主题,去除冗余,提高舆情摘要的准确性和全面性。