论文部分内容阅读
近年来,我国网民针对社会及公共事务在互联网上发表大量自我观点及评论,而这些信息构成了网络舆情的重要组成部分。然而,互联网舆情信息大多是以孤立的形式分布在网络的各个角落,针对这些舆情信息的特点,我们在对互联网舆情方面做研究时,就需要利用现代的科学技术,提出一些有效的措施,舆情监控系统就是在这样的背景下应运而生。目前舆情分析系统在实际生活中有着一定的应用,政府及相关管理部门会利用舆情监控分析系统来对舆情进行及时的预警及采取相应措施,防止事态扩大恶化。本文在研究大量国内外有关舆情分析的资料后,设计并实现了一个简易的互联网舆情监控系统。本文所做的工作如下:(1)查询扩展技术研究在本文所设计的舆情监控系统中,用户可以在系统查询页面,输入要监控的关键字。系统会对关键字进行及时的语义扩展,主要是基于HowNet语义概念词典,计算出与关键词语义相似度最高的三个词,作为候选扩展词。(2)信息检索技术研究系统在用户提交完关键词、需要监控的网站范围和时间范围后,采用垂直搜索技术将系统结构分层。利用网络爬虫对扩展后的关键词,在要监控的网站进行信息采集;对采集下来的信息,采用通用信息抽取系统进行信息抽取和SCWS中文分词,并提出了一种改进的特征词提取算法,该方法把关键词的位置信息列入到考虑范围内,加入其权重计算,有较好的实验效果;最后对文档信息进行相似度计算。(3)舆情分析技术应用在经过上述步骤后,对处理过的文档进行文本聚类和热点发现算法计算,提取出舆情信息较多的热点话题及舆情爆发地区形势情况,之后再经过文本情感倾向性分析,通过人工标注及利用HowNet语义词典方法来对网民的舆论进行情感上的判断,最后利用自动文摘技术形成让用户直观了解地文摘式word报告,并有舆情数量图表分析结果。