网络舆情信息采集系统的设计与实现

被引量 : 0次 | 上传用户:mackolxsbou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
舆论是指在一定的社会空间内,随着某一事件现象的发生、发展、变化,民众对该事件的态度。舆情是舆论的放大体,指民众对社会现象的看法、想法态度及意见的总和,也是民众的社会政治态度对执政者决策行为有影响和指导作用的那一部分。随着互联网的发展,作为继报纸、广播、电视三大传统媒体之后的第四媒体,网络的特殊作用日益显现,网络舆论逐渐成为社会舆论的发源地和放大器。在互联网时代,网络舆情作为社会舆情的网络反映,成为社会舆情的最主要的构成之一。如何正确引导网络舆情,避免不良态势的蔓延,这些给执政党和各级政府带来了前所未有的挑战。为了合理引导民众对热点社会问题的关注,需要有效提高网络舆情监控的能力。为了对互联网上的舆情信息进行有效管控,首先就要获取重要网络媒体的发布信息,即对互联网上发布的舆情信息进行信息采集。然而由于网络信息的形式多样,涉及到的信息量极其庞大,各种网络舆情信息的来源也不尽相同,传统的收集分析机制很难有效的完成舆情采集工作,因此必须构建一个高效的舆情收集信息系统来完成这样的工作。这是基于这样的背景,本文将理论研究与实证研究相结合,首先研究了网络舆情构成和特征,结合当前国内互联网应用的实际情况,认为网络舆情信息采集的信息来源主要是各大论坛、网络社区和网民博客等能够集中反映公众对某一具体议题的情绪、意愿、态度和意见的地方。然后研究和比较了当前适用于网络舆情信息定向采集的各种理论、技术和信息采集方案,提出了通过通用搜索引擎和网络爬虫相结合的网络舆情信息采集模型,以满足对各种层次的网络舆情的采集需求。为了保证系统的实时性和减少数据的冗余度,研究了网络爬虫的搜索策略、重新访问策略和礼貌策略,提出通过采取正则表达式过滤的方式,淘汰网络爬虫爬行过程中不符合要求的URL,防止系统偏离目标站点并收集多余数据。最后,本文从舆情网络信息采集和分析的需求出发,开发了网络舆情信息采集系统,实现了从URL抓取、网页源文件抓取、标题和正文抽取、网页去重等一系列工作流程,为今后继续对网络舆情信息的分析和处理打下了基础。
其他文献
凭借着优越的地理位置和自然条件,开埠后的烟台一度在山东乃至整个华北地区的对外贸易中占有重要地位。但在内外多重因素的影响下,盛极而后的烟台对外贸易在20世纪初期逐渐转向
文化是生产力,文化建设就是能力建设。要充分发挥文化的功能作用,拓宽央行文化建设的载体和平台,坚持文化建设的多样性和多元化。文化建设要坚持以人为本,选准路径与抓手,建立健全
目的:评价稳心4号方治疗痰瘀互结型稳定性心绞痛的临床疗效,并初步探讨其临床疗效,并对其临床疗效性给予中肯的确定评价。方法:将诊断为冠心病稳定性心绞痛同时必须在中医辨
路面裂缝是绝大部分病害的早期形式,及时发现裂缝并进行修补可以最大限度的减小路面病害带来的损失。此外,裂缝病害往往较为细微,裂缝检测是病害自动检测中的难点问题,因此本
随着无线通信技术的不断发展和用户业务需求的持续增长,网络基站数目快速增加,2G/3G网络长期共存,LTE的出现使网络更加复杂。若仍采用传统的优化方法,不仅增加人工成本,网络
核心蛋白聚糖( decorin)是细胞外基质的重要组成部分,具有特殊的核心糖蛋白结构,能与多种大分子蛋白相互作用。随着对decorin功能的深入研究,人们逐渐发现decorin可通过多种机制发
以黑龙江省三江平原典型农场为例,采集了534份0~20cm表层农田耕层土壤样品,进行土壤pH、有机质、碱解氮、有效磷和速效钾等5个土壤养分指标的测定,采用主成分分析法对土壤养
采用零价铁(Fe0)与过硫酸盐构建异相类芬顿体系,由Fe0腐蚀释放Fe2+催化S2 O82-产生硫酸根自由基快速降解偶氮染料活性艳橙,考察了初始p H值、Fe0投加量、过硫酸盐投加量和温度
汽车驾驶培训模拟器以安全高效、低排放、零消耗等优点被应用于驾驶员培训,有效节约了燃油的浪费并减少了尾气排放污染。通过对教练车场内和场外上路驾驶实车训练驾驶工况进
为研究存在复杂体型和较大质量的电气设备的变电站结构抗震性能,进行了1:8的缩尺模型振动台试验,获得了结构体系在地震作用下考虑主子结构动力相互作用的整体抗震性能与结构