互联网博客分布式爬虫设计与实现

被引量 : 0次 | 上传用户:BENLAOQIAN
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着网络技术的兴起,贴吧、论坛、博客等媒介已广泛为大众所使用。其中,博客作为一种便捷方便的社交媒介受到广大用户的青睐,其内容反映了大众的认知与观点。通过对博客的内容进行分析,可以获知公众对某类事件的态度与看法。博客爬取是数据分析与应用的基础,是系统所有工作的前提。在爬取大量博客数据过程中,必须定制专门的爬虫实现自动化。本文选用开源框架开发了爬虫自动抓取各大门户网站的博客及新闻信息。对爬取的HTML文件进行分析,首先进行去重处理,进而提取标题、时间、正文内容等,并分类存至数据库中。
其他文献
《红楼梦》中林黛玉这个经典文学形象是丰满真实的。本文将其比照小说中的另一位主要角色薛宝钗,尝试辨析这两个人物形象之间的不同点。
随着中国综合国力的增强和对外交流的日益增强,政论文英译成为外国人了解中国的重要媒介。本文以2005年至2008年《政府工作报告》的英译本为例从信息论角度对政论文英译中存
目的分析老年骨质疏松与冠心病的相关性,为老年冠心病的临床防治提供参考。方法随机选择接受治疗的疑似冠心病患者160例,其中确诊为冠心病107例。对比分析不同性别患者骨质疏
竹业已发展成为我国林业的四大朝阳产业之一 ,既是实现脱贫奔小康的“致富工程” ,又是培植经济增长点的“财源工程” ,还是解决剩余劳动力出路的“就业工程”。展望新世纪的
目的探讨贞芪扶正胶囊联合HAART治疗艾滋病(AIDS)的临床疗效。方法将70例患者随机分为2组,ZQFZ+HAART组35例使用贞芪扶正胶囊联合HAART治疗,HAART组35例单用HAART治疗,2组疗
为了研究缺氧诱导因子 1α及其相关基因在腹主动脉瘤中的表达 ,选取腹主动脉瘤标本 2 2例 ,以 5例正常腹主动脉作对照 ,检测缺氧诱导因子 1αmRNA及蛋白的表达 ,检测血管内皮
当前我国耕地资源开发利用问题突出,主要表现在利用效率低下、生态环境退化、土壤污染严重等,影响了粮食安全。文章针对目前耕地资源开发利用存在的突出问题,从土地整治入手,
近日,读了《贵州日报》刊登的新闻报道《留下来的理由——贵州省1.8万名驻村干部连续驻村侧记》一文,深受感动。1.8万名干部主动留在贫困山村扶贫攻坚的精神,体现了他们高尚
报纸
目的观察改良膝关节后内侧入路手术治疗胫骨平台后侧骨折的临床疗效。方法选择胫骨平台后侧骨折患者50例随机分为观察组与对照组,观察组使用锁定接骨板实施改良膝关节后内侧
在分析科马提岩和豆荚状铬铁矿Os同位素特征的基础上,着重对比了新太古代华北遵化豆荚状铬铁矿与现代豆荚状铬铁矿和同时期世界典型地区科马提岩的Os同位素组成.结果表明,遵