空间数据网络爬取方法研究

来源 :重庆交通大学 | 被引量 : 0次 | 上传用户:shgrx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,互联网平台空间数据呈爆炸式增长,从矢量到栅格数据,再到时空数据,网络空间数据背后隐藏着实用信息,是空间大数据时代数据重要来源,因此空间数据的网络获取是关键环节之一。空间数据一般存储于网络服务器端的数据库中,前端采用网页技术展现其空间形态,论文通过解析网页结构,高效、可靠的从后台数据库中爬取空间数据。论文主要实现矢量和栅格两大类数据爬取,矢量数据选取POI数据和交通态势数据,栅格数据选取影像数据。主要运用四种方法实现,通过模拟搜索法实现城市范围POI数据爬取,通过圆形剖分实现圆形区域POI数据爬取,方格剖分实现矩形区域POI数据和交通态势数据爬取,模拟登录实现影像数据爬取。为确保空间数据爬取顺利,论文运用代理IP、伪装浏览器、防盗图片链接以及降低访问频率方式实现空间数据的反爬措施。论文通过多进程与多线程提高空间数据爬取的效率,通过编程手段和数据库操作在数据爬取以及入库过程中完成数据清洗和数据去重。通过实验论证分析,运用四种方法可以实现城市范围、矩形区域、圆形区域POI数据爬取,矩形区域交通态势数据爬取以及指定类型影像数据爬取。并运用多进程使得空间数据爬取效率提高三倍。通过数据清洗和去重使得爬取的数据准确度大大提高,在单次数据爬取过程中不相关数据以及重复数据记录趋近于零。论文采用python语言、pyqt平台、eric6环境将四种空间数据爬取方法编程实现,通过软件测试,这四种空间数据爬取方法实用性较高,可应用于大规模POI数据、交通态势数据以及遥感影像数据爬取。论文最后根据爬取的数据完成重庆交通大学至长江大桥矩形区域内交通拥堵分析以及北京地区SO2污染浓度影响因素分析,根据拥堵分析结果可以制定出行计划和对交通指挥作参考,而污染浓度分析结果可对环境治理与管理起指导作用。根据实验及应用表明,运用四种方法爬取的空间数据可以进行不同种类的空间数据分析,爬取的数据使用价值较高。
其他文献
目的通过对高龄高危肺癌患者围手术期治疗的分析,以提高患者术后的康复效果.方法分析38例高龄高危肺癌患者术前情况及术后并发症.结果患者术后生存率及生活质量均有提高.结论
摘要:课堂德育寓含、渗透、融合于教学过程之中,并不是说它没有其独立性,它除有正式的课程(指学科课程)外,并且始终保持着一个相对独立的运作系统。它不仅有自己相对独立的内容结构,而且有自己特殊的方法、特殊的目标、特殊的途径和特殊的功能。实践表明,课堂德育的效果取决于教师、学生、集体三主体的协同运作及其多种途径的相互配合。  关键词:课堂 德育 教学   经过研究,我们认为小学语文课堂德育三主体协同
班级是学校教育和管理的基本单位.一个良好的班集体对我们每个同学的健康发展有着巨大的教育作用,为此我们在努力:
“生猪产业化托起了发猪财的希望。”该县存栏种猪10头或年出栏商品猪100头以上的养殖大户有1100多户.他们得益于优质肉猪产业化百万工程。
冷冻治疗宫颈糜烂治愈率高,疗效肯定,但一些病例脱痂期可以有出血,如处理不当,严重者可出现不良后果.作者对83例宫颈糜烂冷冻术后脱痂期出血的患者采用碘仿纱布压迫止血或电
教学改革不断深入,素质教育成为当前教育教学的首要任务。音乐是陶冶学生情操,落实素质教育的重要途径。高中音乐可以有效地提高学生的综合素养,所以越来越受到重视。用师生
长城全长超过21000千米,其中90%以上的段落已经是遗址状态,因此长城在整体上应当认定为"古文化遗址",而不是"古建筑"。将长城视为"古建筑"的观念,与社会普遍存在的以"八达岭"
目的:观察脑卒中患者早期神经康复对神经功能影响。方法:选择2010年1月-2011年5月住院100例脑卒中患者,治疗组入院后开始康复治疗,对照组2周后开始康复治疗,两组内科用药相同。结
探讨显微内窥镜椎间盘切除术治疗腰椎间盘突出症的特点及易出现的情况和并发症,以提高手术疗效.
民以食为天,人们常说的开门七件事“柴米油盐酱醋茶”,其中六件与食品有关。食品安全关系到每一个人的切身利益,食品安全问题是直接关系人民生命健康和国计民生的重大问题。