互联网舆情监测分析系统的设计与实现

来源 :北京交通大学 | 被引量 : 2次 | 上传用户:cxy8933
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
我国互联网产业近十几年来发展极为迅猛,由于其具有传播速度快、受众基数大、内容覆盖广泛、社会动员能力强等优势,互联网开辟了新的社会舆论聚集地。但有些不法分子借助这种途径向广大人民群众传播虚假信息,散布反动性言论,并已造成恶劣影响。诸如此类问题都是在信息传播方式从传统媒体向新媒体转变过程中衍生出来的。因此加大对网络舆论的监管,增强政府对社会舆论正确导向的把控能力,对我国在新形势下的健康发展有着至关重要的作用。本文主要介绍互联网舆情监测分析系统的设计与实现过程。用户可通过本系统获取某自定义敏感事件的多维度舆情分析结果,如情感极性占比、事件随时间的发展趋势等,还可以对事件进行预警、生成报告等操作。要对舆论做到尽可能全面的监控,大规模数据的采集必不可少。本系统的数据来源包括新闻网站、移动新闻客户端、论坛等互联网媒体中的公开文本信息,数据采集模块在采用Heritrix爬虫框架的基础上进行扩展开发。爬虫模块具备近千个国内外站点信息的采集能力,并可形成标准格式化文件供数据分析程序使用。海量详情数据存储采用HBase非关系型数据库。高性能系统需要在尽可能短的时间内,准确返回用户想要的数据信息,这些都要依靠一个高效的搜索引擎。本文还将介绍搜索引擎Solr在系统文本搜索、海量数据统计中的应用。Solr是一个高效的数据检索工具,在整个互联网舆情监测分析系统中将承担十分重要的工作。论文在研究国内外数据采集和搜索引擎相关成果的基础上,借鉴成熟文本情感分析产品的特性,运用现代软件工程管理的基本思想,提炼各类用户故事后,形成了核心业务处理模型以及可推广的同类产品通用解决方案。本系统已成功上线进行商业运作,为各级政府部门提供了便捷高效的互联网舆情监控工具,打击了扰乱社会稳定的网络犯罪,推动了正能量信息的传播,为净化网络环境、抑制不良事件的发生做出了积极贡献。
其他文献
碑文和墓志是南北朝重要的散文样式。北魏前期的碑文与刘宋初期的碑文具有类似的文学特征,南朝碑文在齐梁以后繁缛典丽的特征要到北魏末期才影响到北朝碑文的写作。碑文的变
大量的文献和方言资料表明,"着"字被动句来源于动词"着"的遭受义。"着"的语法化是句法位置、使用频率、认知等因素共同作用的结果。"着"字被动句的语法化途径是:"S+着动词+NP
通过采用多层次分析法对闽江河口湿地生态旅游资源的价值进行分层、分权重的评价实践,探讨一种定性与定量相结合的湿地评价方法.闽江河口湿地独具特色的自然资源、一支独秀的
语言学理论认为,语言本体是由其基本单位——词语构成的,在很大程度上反映着语言本身的发展和社会经济、生活、政治、科技等发展的状况,也标志着人们对客观世界认识的广度和深度
小学语文教学的目的,是指导学生正确理解和运用祖国的语言文字,使学生具有初步的听说读写的能力,在听说读写的训练中,进行思想品德的教育,发展学生的智力,培养良好的学习习惯。可见
语言之所以可以做到以有限的符号来表达无限的内容,离不开词汇系统对社会变迁的不断适应,词义的变化在词汇系统的变化中起着重要作用,它即使词语的意思得到丰富又不至于让词
近年来,随着金融服务便利化程度不断提高,我国银行卡境外交易业务不断发展,特别是银行卡境外消费保持较大规模。银行卡境外交易的便利化在满足了消费者日益增长的境外商务、
论述了光面爆破和预裂爆破的含义,归纳了光面预裂爆破的优点,通过具体工程实例,从所布置炮孔的孔径、孔距、孔深及装药等方面详细介绍了影响光面预裂爆破效果的主要参数,以积
长期以来,我国高等教育工程人才培养中校企合作的基本常态仍是单向的、循环不顺畅的"学生进企业完成短期实习",企业参与人才培养的积极性不高。工程人才培养与企业参与密不可