基于海量舆情信息的话题检测系统的设计与实现

被引量 : 9次 | 上传用户:jack88698
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的迅速普及使其成为舆论传播的重要载体之一。互联网既是政府了解民情的直接渠道,也是新形势下政府的重要舆论阵地。网络舆论如果被错误地控制和引导可能会影响到社会的稳定,因此,对网络舆情的有效监测具有一定的现实意义。本文源于某舆情监测项目,该项目对网络舆情信息进行监测和分析,并且项目提供了舆情导控平台。该平台实现了对新闻、论坛、微博和博客等多类信息源的采集,并实现了分类别、站点和地域进行舆情信息的分析和展示,平台的主要功能包括:特定人群的网络舆情、社会热点舆情、境外舆情、网络炒手和随机采集舆情等信息的追踪、预警、响应和政务微博管理功能。本文首先从项目平台的数据库中提取大数据文本信息,对其进行中文分词预处理工作,预处理工作的主要目的是剔除文本中的干扰词和停用词等,并对文本进行合理的中文语义分词;然后利用Map/Reduce技术构建了一个分布式处理大数据文本信息的LDA分析模型,该模型对预处理后的文本信息进行话题检测,并找出文本、词汇在各主题(话题)中的概率分布情况;最后对提取的特征点用K均值等聚类算法分析出网络舆情的关键词、热点话题等内容。本文给出了一种舆情信息的数据挖掘模式,其可用于舆情信息的分析、聚类和提取隐含主题(话题)等方面,同时本文还实现了海量舆情数据的存储、处理和分析方法。根据软件工程的设计规范,本文对所开发的网络舆情检测系统进行了分析和设计。目前,系统中各主要模块的功能都已实现,系统在实际试用中能提取网络舆情信息中的实际热点主题等内容,达到了本文的预期目标。
其他文献
就烟草管理信息系统软件及网络设计展开研究,详细论述了烟草管理信息系统的需求、架构设计、网络结构设计、分层设计以及具体的设计实现,以期为我国烟草行业的更好发展提供一
雷锋精神,是以雷锋同志的言行事迹所表现出的共产主义思想,优秀道德观念和崇高理论品质为概括和总结,并在现阶段被践行着的,不断丰富和发展的文化精神。雷锋精神根植于中华民族的
<正>演讲稿也叫演说词,是在群众集会上或一定场合中口头发表的讲话文稿。它是演讲的书面依据,是人们在社会活动中常用的一种应用文体。一、演讲稿的特点演讲稿有以下几个特点
英国浸礼会自1846年来宁波传教,后又开辟山东、山西、陕西三省传教区,直至1952年撤出中国。浸礼会的在华布道工作由传教士与中国布道员合作完成,形成了自上而下的三层传教体
大部分中国的英语学习者都不太清楚:应该如何有效地去提高自己的口语?如何去练习自己的口语?用什么方法比较有效?重点应该是什么?在口语表达的时候,很多人的口音很重,有很明显的中式
菽庄花园是林尓嘉于1913年在厦门鼓浪屿东南海边仿板桥林家花园建设的一座私家园林。文人文化大量的渗入使得其与其它的鼓浪屿园林不同,融入了海洋因素的菽庄花园也使得其与
由于近些年来我国自然灾害的频繁发生,对城市防灾绿地的建设引起了广泛的重视,文章通过对日本神奈川县厚木市防灾山丘公园的案例分析,并结合我国防灾公园的缺陷与不足,总结经
<正>驿城是军事观察哨、堡寨、城市与驿站的混合体,其形制从侧面证明了军驿是邮驿的来源之一。驿城的模式既延续了邮驿体系的原始特征,又在原基础上附加了更多属性以满足复合
结合新建菜市口地铁车站在既有地铁车站结构侧墙开洞案例,介绍了开洞的方法、工序以及相关保护措施,并采用有限元分析软件对开洞工况进行模拟,研究结构变形情况及应力变化情
梁启超是中国近代史上著名的政治活动家,也是杰出的报刊编辑和政论家。梁启超通过撰写大量的政论文章,启迪民智,传播君主立宪思想和民主思想,激发人民的民主热情和爱国热情,把清末