【摘 要】
:
研究了微博爬虫程序的4个关键模块:模拟登录、页面抓取、页面解析、任务调度。介绍了模拟登录的三种方法 ,通过账号密码登录、使用Cookie登录、使用第三方账号登录,并且探讨
论文部分内容阅读
研究了微博爬虫程序的4个关键模块:模拟登录、页面抓取、页面解析、任务调度。介绍了模拟登录的三种方法 ,通过账号密码登录、使用Cookie登录、使用第三方账号登录,并且探讨了三者登录方法的优缺点。探讨了HTMLParser和正则表达式在解析微博页面时的运用方法和原则。提出了微博搜索爬虫的任务调度基本算法并且在此基础上进行改进增加了任务调度优化算法。在这些研究的基础上实现了一个微博搜索爬虫程序,该程序可以针对新浪微博和搜狐微博经关键词搜索的页面进行爬取。
其他文献
从医疗设施的角度详细分析武汉在此次新冠肺炎疫情中的教训,在此基础上提出了防疫医院的基本构想以及相应的设计策略。研究结果表明,如果在我国的大中城市建设一定数量的防疫
用强酸型阳离子交换树脂为催化剂,反应温度为85、90、95℃,对各种不同牌号的催化剂进行实验考察,求出醋酸正丁酯合成动力学方程参数,建立了动力学模型。
<正> 第三届全国气溶胶学术会议于1990年9月28日至10月1日在北京科学会堂召开。会议代表近120人。其中有参加日本京都国际气溶胶学术会议之后来我国参加会议的美国、苏联、德
<正> 经湖南省教育科学“十五”规划课题立项评审委员会专家评审,湖南省教育科学规划领导小组审定,湖南省教育科学“十五”规划2002年度课题共立项295项,其中重点资助课题79
融媒体中心建设构架及业务流程都是基于网络实现,网络安全防护系统的建立,是融媒体稳定运行的保障。本文主要阐述融媒体中心网络各个节点的网络安全防护要点及需求,以及如何
笔者所在学校高度重视毕业论文(设计)工作,不断完善毕业论文(设计)管理制度,明确质量标准,认真抓好过程管理和质量监控,保证了毕业论文(设计)各环节的质量.
企业年金制度是养老保障机制的重要构成部分,我国企业年金制度的覆盖范围、基本规模、区域情况与收益水平还有待于进一步完善。为了积极发挥企业年金的养老保险补充作用,应当
万金泉:大家好,我是华南理工大学教授万金泉。首先有请我们的对话嘉宾上台,有请:福建省造纸学会理事长陈礼辉教授、华泰集团总工程师张凤山博士、青山纸业总工程师程欣先生以
随着数据业务爆发式增长,UPS的使用量大大增加,造成了机房面积占用较大、投资较高等问题。文章介绍了以直流供电代替交流UPS供电的驱动力,阐述了高压直流供电系统的基本原理,
临床资料患者,男,78岁。左耳后皮疹5年,初起为一米粒大暗红色丘疹,偶有微痒,后皮疹渐扩大成片,多次在当地拟"湿疹"治疗无效,近2年皮损扩展明显,出现脱屑、结痂,局部皮损有刺痛