基于网络爬虫的地理信息获取技术的研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:sw440
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络技术和地理信息技术的迅猛发展,地理信息数据作为一种重要的基础信息数据资源,使其不仅在城市规划、交通导航、灾害监测、国防军事等国家建设领域得到了广泛的运用,而且,与人们的日常生活联系的也越来越紧密。特别是Google向公众推出了基于空间位置服务(Location Based Services, LBS)用户体验之后,给人们的工作和生活带来了很大的便利。地理信息数据在促进国家经济社会发展,给人们日常生活和工作带来很大便利的同时,同样也有一些亟待解决的问题。其中比较突出的是地理信息获取问题,传统的地理信息获取主要通过实地测绘和遥感等手段,这些方法都存在着成本高、精度低、无法实时更新等弊端。同时,网络地理空间的虚拟性、共享性、无国界性等特点,特别是现在网络中散布着很多地理信息数据,这都为地理信息获取提出了一种新的途径和来源,研究如何从网络中获取地理信息数据具有重要意义。本文主要研究了从网络中获取地理信息数据的关键技术。分别针对文本、栅格等不同类型的地理信息数据提出了不同的获取方法。对于文本地理信息数据获取技术,主要通过网络爬虫(Web Crawler)技术来获取,本文重点研究了多种网络爬虫算法,将基于内容的Shark Search算法和基于链接的HITS算法相结合,提出一种新的网络爬虫算法,即SS-HITS算法,该算法不但可以减少基于内容算法的局部性问题和基于链接算法的主题漂移现象,而且提高了网络爬虫的页面回调率、查准率和主题相关度。对于栅格地理信息数据获取技术,本文主要通过分析其投影方式、数据组织和管理模型等关键技术,提出了一种栅格地理信息获取方案,通过该方案可以获取全球范围高精度的栅格地理信息数据;另外,本文还提出了一种地图拼接、漫游和缩放算法,该算法不仅可以将获取到的栅格地理信息数据拼接成完整的影像地图,而且拼接后的地图还支持地图漫游和地图缩放功能。
其他文献
随着互联网技术的高速发展,计算机网络给人们工作和生活带来了前所未有的便利。同时网络安全事件发生频率越来越高,其中恶意代码攻击事件日益突出,给人们的数据安全带来极大
随着经济、社会的发展,人民群众休闲娱乐需求日益扩大,娱乐场所随之日益增多,然而这些场所确实存在许多安全隐患。2008年9月,深圳某歌舞厅特大火灾造成43人死亡、50余人受伤,再次
虚拟仪器软件体系结构(Virtual Instrumentation Software Architecture,简称VISA)是标准化的I/O函数库及相关规范的总称,它屏蔽了用户对于硬件接口的直接操作,是计算机与仪
随着计算机硬件以及其外围设备的飞速发展,如何逼真的模拟自然景物,成为图形学领域中最具有挑战性的研究方向之一。目前为止,非常逼真的流体可以加入到具有真实感的交互式应
细分方法因其与传统样条方法相比有多方面的优势,已经在科学计算可视化、计算机动画、医学图像处理和工业制造逆向工程等领域得到广泛重视和应用,成为一种流行的离散化的曲线曲
随着经济社会的高速发展和城市化水平不断提高,各类突发公共事件造成的影响和波及范围也越来越大,如何合理配置应急资源,在突发事件发生后提供快捷的紧急救助服务,最大限度发
社会医疗保障制度作为一项关系到国计民生的制度,一方面在保障全体劳动者健康,免于伤病威胁方面发挥了重要的作用;另一方面,由于医疗过程缺乏有效的行为规范和标准化,违规现
随着信息化建设的迅速发展,越来越多的应用需要访问多种异构数据源。这些数据源由于地理位置分布不同、所处平台及操作系统不同、采用的数据库模式不同、数据语义表示的不同
随着信息技术的不断发展,数据信息逐步呈现海量、多样、非结构化的特点。而传统的数据库技术已不能够对这些复杂数据进行有效的管理,新的数据管理模式——数据空间应运而生,
数据挖掘(Data Mining)是从存放在数据库,数据仓库或其他信息库中的大量的数据中获取有效的、新颖的、潜在有用的、最终可理解模式的非平凡过程。其应用于网络环境中则称为We