基于页面预判的微博采集系统设计与实现

被引量 : 0次 | 上传用户:itshuai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今社会正处于一个信息爆炸的时代,网络信息飞速发展,人们可以随时随地的发表网络消息,显而易见网络已经和我们的生活交融在一起,并影响着我们的生活改变着我们的生活方式。网上繁杂的信息又以微博传播最为迅捷,怎样才能实时准确的扑捉到微博的信息,成为人们所面临的一大难题。因此,对网络上微博信息的监控、采集、预处理以及相关的信息收集已成为当今信息处理界研究的热点。本文学习并分析了国内外先进的微博采集系统,通过大量的学术文章研究了并测试了关于微博采集的相关技术,其中包括页面去噪技术、网页预判处理、爬虫技术、正规化处理、正则表达式等技术。本文开发了一个基于预判的微博微博信息采集系统,该微博采集系统基于C#语言,SqlServer2005数据库,可采集的频道有新浪娱乐、新浪体育、新浪爆料、新浪文学、新浪电影和新浪情感。与它单一的微博信息采集系统相比,本系统有显著的有点,它可以按照用户的要求按主题进行模糊查询并进行批量采集,这样就使得系统不仅仅局限于对添加的频道的采集。本系统开发使用的是SqlServer2005数据库,数据库名为Microblogtag,主要的数据库表有:microblogs表、microblogstxt表、microblogsback表和Adminstate表。本系统主要开发为四个模块分别为系统登录界面、数据频道采集模块、数据主题采集模块、数据导入导出模块。本文详细阐述了微博频道采集模块、数据主题采集模块和导入导出模块的设计和实现。本系统的核心为频道采集模块和主题采集模块,两个模块均可对微博信息进行采集,一方面可以自动采集可按用户输入的主题采集,另一方面,在用户需要的情况下,本模块还可以实现对数据进行导入导出。增加系统的灵活性。本文还以主题采集为例,测试显示系统有效的避免了Hash值的变化与网页内容变化产生偏离的现象,解决了网络爬虫虚拟登录时多次对URL采集造成的身份认证问题。实验表明,该方法可以实时快速的获取微博信息,为舆情数据分析提供批量精准的数据
其他文献
汽车越来越被人们普遍使用的同时,行车安全越来越受关注,轮胎的胎压和温度是影响行车安全的重要因素。胎压报警器(简称TPMS)能够全天候测量和监视胎内压力和温度值,并且短时间间断
文章基于森的可行能力福利理论,构建了土地整理农户福利指标,对土地整理前后农户福利变化采用模糊评价方法进行了测度。研究结果表明,农户福利水平土地整理后较整理前略有所
本文针对空间飞行器对接等场景中遇到的空间运动图像序列的多帧插值问题进行了深入研究。为了解决空间运动图像序列中存在的帧率不足问题,需要从多尺度保证单帧图像的分辨率
我国的生态农业在技术上已初步形成了较完备的理论体系,但在产业市场化的经济背景下,依然保留着传统的经营方式。庭院式生态农业模式适应我国一家一户的小规模生产,但由于其
土地利用变化与驱动力研究是地学研究的前沿问题,土地利用变化是指由于人类通过利用土地的各种直接和间接活动而使得一个地区的土地结构和土地特性发生改变,它是全球变化研究
肿瘤是一种严重威胁人类生存健康的疾病,具有难于发现、生长迅速等特点。虽然关于癌症的相关研究在不断进步和深化,但到目前为止仍然缺乏有效的治疗手段。胃癌作为亚洲地区高发
随着我国矿产开采能力的不断提高,矿物输送能力已经成为了影响生产效率的关键因素。胶带输送机由于具有组装方便、轻巧;输送路程远、运载量大、稳定可靠;能耗低、效率高;便于实现
为明确影响特高含水期油田采收率的主要因素,应用油藏工程原理及统计分析方法对我国东部层状砂岩油田处于特高含水期12个区块,采用定量分析与定性分析相结合的方法分析9项动态
进入20世纪90年代之后,随着对北岛、顾城等传统朦胧诗人的重新审视以及对黄翔、食指、多多、芒克等“被埋葬”诗人作品的发掘研究,朦胧诗中出现的暴力因素日益进入研究者的视野
近年来,东北地区摸索出多种适合东北地区实际情况的保护性耕作技术,其中留茬行间交替耕作技术是应用最为广泛的保护性耕作技术之一。留茬行间交替耕作技术在收获作业时采取高留