一种舆情信息预处理平台的研究与实现

被引量 : 2次 | 上传用户:zhuyx82
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络信息化的不断发展,舆论的传播方式和传播速度都发生了巨大的变化,互联网已成为我国的主要舆论聚集地,并且无时不刻的影响着人们的生活。因此通过网络分析研究舆情信息可以了解大众心态和民意,对经济、社会、政治的发展都具有重要的意义。但是网络传播的信息具有数据量大、半结构化、异构性等特点,使得人们在获取相关信息和进行研究工作都面临很大的困难,因此需要建立一种舆情信息预处理平台来完成互联网信息的分析预处理。本论文首先对国内外舆情信息预处理的相关技术进行了研究及分析,总结了它们的优缺点,深入分析了舆情信息预处理平台的设计和技术实现等方面的问题,然后在现有技术的基础之上提出了用于舆情信息预处理的技术方案,实现了将海量网页信息进行处理分析以及重复利用的功能。本文的研究内容和主要成果有:深入分析了URL结构的特点,采用了URL比较分析的方法对海量网页进行处理,完成了对用户指定网站的筛选过滤;提出了对文档对象建模的网页信息抽取算法,并且设计了基于抽取规则的文档对象匹配模板库,对网页中的无关信息进行滤除,并且将提取到的关键信息录入关系型数据库,以备日后的分析和使用;提出了基于四字索引分词词典的实现方案,采用最大正向匹配算法对中文内容进行扫描切分,较准确地完成了对中文信息的分词处理和词频统计等功能;在对多线程机制深入研究的基础上,提出了利用线程池来管理多线程的技术方案,使系统效率得到了较好的改善。通过实验验证了本文所提出的信息处理方案,实验结果表明,本文设计的方案高效可行,有很高的准确率和使用价值。本文基于以上的工作,根据平台的总体设计原则,规划了舆情信息预处理平台的总体框架结构,完成了平台的模块划分,设计了各模块的功能以及数据库结构,最终开发出了一种运行稳定,效率良好的舆情信息预处理平台,希望通过本论文的研究能够对舆论分析的理论研究做出微薄的贡献。
其他文献
胎盘早剥是妊娠晚期严重的并发症,轻型胎盘早剥无明显临床症状,重型胎盘早剥可危及母儿生命。B型超声对胎盘早剥的辅助诊断,对于迅速准确地诊断和抢救母儿生命很有价值。
CBN砂轮推动了研磨加工的进程,分析CBN砂轮的特性及优势,重点介绍了CBN砂轮在双面研磨机上应用时的选择和修整方法,并通过实例验证了在套圈端面研磨加工中的应用效果。
首次公开发行股票(IPO)过程中最吸引人的现象是巨大首日收益的频繁出现,这种现象被称为IPO抑价。IPO抑价在各个国家的股市都存在,不可思议的高抑价同样出现在中国的A股市场。
中国工笔人物画具有十分悠久的历史,渊源流长,经过几千年来不断的丰富、革新和发展,已经形成了独特的形式和鲜明的民族风格,在世界艺术中有着重要的地位与影响。纵看中国绘画
现代物流作为推动经济发展的新的利润源泉和竞争资源,其所蕴涵的巨大潜力日益得到政府、企业和学术研究领域的重视。发展现代物流,构建物流信息系统,正成为许多企业作出的面
第三代移动通信的高速发展,对应用于无线通信系统的天线提出了小型化、宽频带、多频段工作等要求。平面倒F天线(PIFA)因其体积小、剖面低、易于与微波电路集成等特点而得到了
<正>中西医结合医学研究,是自1958年我国首届西医离职学习中医研究班结业,培养出我们第一批西医离职学习中医人员(简称西学中人员)开始,首先从临床入手开展起中西医结合研究,
扁形茶是绿茶中的一个优良品种,在茶叶产品中有着重要的地位。随着社会对茶叶的需求量逐年增大,茶叶种植、加工已形成一个巨大的产业。扁形茶叶的加工过程是一个复杂的过程,
华语电影的字幕英译,是译者在英汉语际间对字幕文本模式、英汉语言结构和语境关系的动态顺应过程,具有以下特性:一是字幕翻译过程要顺应影视作品的声画限制;二是原影视制作者
本文综述了近年来植物中WHIRLY2蛋白的研究成果,并结合研究与实践,重点阐述了WHIRLY2在调控植物叶片衰老、花粉管活力以及角果发育等方面的一些进展,以期为植物中WHIRLY2蛋白