论文部分内容阅读
随着我国信息化的不断发展,传统的信息传播机制与渠道在逐步让位于互联网技术,各种新闻网站、贴吧、微博、论坛等在民众中取得了广泛的认可和应用,也相继成为了民众表达其对某些事件活动的看法、观点、诉求和情绪等众多反馈的主要渠道,而如何应用计算机技术快速、准确、全面、高效的监控与分析这一渠道的舆情信息,是当前众多机构、专家和学者研究的热点问题。本文首先在对国内外舆情监控及其应用系统的发展过程、建设经验、研究成果等总结的基础上,结合国内现行解决手段和解决方案,对舆情系统的主要需求进行了整理和优化,得出了系统的需求内容,主要包括数据采集及预处理需求、舆情监控与分析需求、应用展现及管理需求、业务治理需求、系统安全及性能需求等内容。其次,文章基于网络爬虫、正文提取、中文分词及语义分析、文本聚类等技术手段,从舆情数据特点、数据采集方式、数据传输与存储机制、功能实现特性等角度给出了舆情监控与分析系统的整体架构以及设计思路,并从基础设施平台、数据采集、信息预处理、监控分析处理、Web应用这五个角度阐述了系统的模块功能设计方案,同时,文章也给出了系统的业务流程分析及优化、部署架构及实现途径。最后,文章基于上述需求分析、规划设计基础上,结合作者的实际工作经验,给出了系统的详细设计流程与实现方案,包括:对舆情数据采集、预处理模块进行了流程设计、功能设计,并给出了功能实现方案;基于向量空间模型及TF‐IDF算法、中文分词及DOM剪枝算法、文本聚类SinglePass算法等技术,对舆情分析模块的话题监控与跟踪、舆情热点筛选、敏感话题识别等子模块给出了详细的流程、模块功能设计及实现方案;从舆情展示、系统配置、信息检索、安全管理等角度基于MVC架构给出了Web应用的功能设计与内容实现。