一种基于P2P技术的分布式微博爬虫系统

来源 :江苏大学学报(自然科学版) | 被引量 : 0次 | 上传用户:B08050402
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微博正逐步成为公共信息传播的主要媒体,高效地获取微博数据则显得至关重要,分析微博数据有助于研究者及时了解舆情信息.由于传统网页爬虫无法获取完整的微博信息,微博API又有诸多限制,因此针对新浪微博,设计了一种基于P2P技术的微博爬虫系统.该系统避免了新浪API的功能和连接限制,使用基于模拟登录的网页爬虫,根据用户的地理位置信息划分任务,实现连续高效的数据采集.通过与其他架构的试验比较,证明本系统具有良好的性能,能为舆情分析提供数据支持.
其他文献
省委作出帮扶困难群众、帮扶困难党员、帮扶薄弱基层党组织工作的部署后,委党组和任克军同志高度重视,明确提出了我委开展“三帮扶”工作的目标任务和具体要求。各处室、各单位
叶圣陶先生的《自力二十二韵》以人们扶携幼儿学步为喻,形象深刻地阐明了教育的规律及其教育的艺术。其主张立足学生主体性进行教育活动,教师通过启发与诱导.培养学生的学习自主
据黑龙江省农情最新统计,今年这个省水稻种植面积达到5151万亩,比上年新增近700万亩。水稻等高产作物种植面积的增加为粮食丰收奠定了基:础。近年来,黑龙江省不断加快种植结构调
针灸推拿课程足康复专业基础课中的主干课程,是培养高素质、高水平康复即用型人才的必修课之一。针灸推拿是实践性操作性很强的一门学科。在授课过程中我们面临着新专业知识版
房周炎又称漏肩风、五十肩、冻结肩,主要表现为:疼痛——早期呈阵发性疼痛,常因天气变化及劳累而诱发.以后逐渐发展到持续性疼痛,昼轻夜重,不能向息侧侧卧。
近日,由中国农业发展银行吉林省分行、吉林市分行、磐石市支行共同主办的以“唱响红色经典传承红色精神”为主题的庆祝建党90周年红歌会在磐石市隆重举行。省行党委书记、行长
在小学数学知识的教学过程中,学生在做题的时候难免会出现错误,这是一种最为普遍的现象。教师需要正视学生出现的错误,只有这样才能够更好的帮助学生解决问题。采用数学错题本进
为加快推进全市现代都市农业发展步伐,统一思想认识,明确今后一个时期发展思路、目标、任务和举措,9月16日上午。长春市召开了全市现代都市农业工作会议。会议由市农委副主任宋
近日,清原满族自治县政协组织部分委员深入到县、乡、村对全县农村卫生室建设进行实地调研。  委员们建议,应按照便民利民、一村一室的原则,依据村民居住特点、交通状况和实际需要,选择人口相对集中、交通相对便利的地方作为村卫生室建设用地,使卫生资源在地域分布上更趋合理。各级卫生行政部门应认真协调和帮助村卫生室合理配置必要的医疗设备。要统一调配社会卫生资源,政府帮办、乡村联办、村委会筹办或有执业资格的村医承
幼儿年龄小,以直接经验作为学习的基础,对于外界事物和知识的感知都是通过直观经验获取的。区域活动是幼儿园教育中的一个重要组成部分,是幼儿通过对玩具材料的操作获取直接经验