基于Hadoop的地理空间大数据存储与查询技术

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:rogiangel
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今社会随着地理信息技术的迅猛发展,地理空间数据量急速增长,传统的存储和处理方式已经难以满足需求。如何高效的存储和处理海量地理空间数据,正逐渐成为各大IT企业和知名学术机构的研究重点。在此背景下,针对地理空间数据结构复杂、数据量大、空间特征突出和存储与处理复杂等特点,本文设计并实现了基于Hadoop的地理空间大数据存储与查询技术。  本研究主要内容包括:⑴针对矢量空间数据的结构特点和NoSQL数据库HBase的存储检索特性,设计了一种新的适合矢量空间数据存储和处理的HBase表模式,对于HBase表中的行键和列族均进行了特殊设计以适应矢量空间数据的存储和查询需求。⑵提出了多种数据导入算法,包括两种单机导入算法和两种基于MapReduce的导入算法,可适应多种应用场景下的导入需求。默认支持对Shapefile文件的导入,并可轻易扩展实现对其他矢量空间数据格式的支持。⑶设计了可加快矢量空间数据查询速度的R树索引存储模型,该模型基于HDFS实现,包含两级索引结构。与此同时为了加快查询速度,设计并实现了多种优化策略。⑷通过对R树索引的深入分析,提出了基于MapReduce的数据采样算法和 R树索引创建算法,并且针对R树索引的存储进行了优化以加快查询速度。⑸在深入研究HBase协处理器的基础上,提出了基于R树索引和HBase数据库的区域查询、K近邻查询和空间连接查询算法,并分别设计了对应的批量查询优化算法。
其他文献
无线传感器网络是由一组传感器节点以自组织方式构成的无线网络,其目的是协作地感知、采集和处理网络覆盖区域中被监测对象的信息;并将信息传送至观察者。无线传感网络的特点
虚拟场景中的碰撞处理问题是计算机动面、机器人规划、计算机游戏、虚拟现实仿真等领域中一个极富挑战性的问题,其基本任务就是确定虚拟三维空间中的两个或者多个物体彼此间
定位算法是井下人员定位系统的基础工作,因此,进一步研究高鲁棒性、高可靠性的井下人员定位算法对于决策指挥者获取准确的井下信息至关重要。本文参考了国家标准矿井结构图,
森林资源数据总是处于不断的动态变化中,随着各种林业活动的不断进行,如森林采伐、树种更新、营林造林、自然灾害等等因素都会引起森林资源的变化,为了有效的管理森林资源,并
车牌识别技术是智能交通系统中的重要组成部分,它在违章抓拍、不停车收费、停车场管理以及对重要场所过往车辆的实时登记等方面都有重要的作用。论文从实际应用角度出发,针对
信息技术的发展过程是一个对时间与空间的挑战过程,3G时代,人们追求在更少的空间上实现更高效更强大的功能。动态多应用智能卡本着“轻松持卡、方便用卡、减少重复发卡、避免
随着信息技术的发展与互联网的迅速普及,P2P (Peer-to-Peer)网络的规模急速增大,应用日益广泛。在P2P网络中,节点具有客户机与服务器的双重身份,网络的运行完全依赖于节点的
近年来,随着在线考试系统的推广和流行,针对计算机自动评分技术的应用研究已迅速地发展并成熟起来。但是,目前大多数的在线考试系统,由于无法或不能很好地实现对主观题的评分
近年来,物流行业凭借它巨大的利润空间在我国已经悄然兴起,成为中国目前最重要的竞争领域。在物流企业运作成本中配送成本占了极高的比例,摆在物流从业者面前主要的问题是如
随着网络和现代通信技术的飞速发展,信息隐藏技术已经成为信息安全领域一个新的研究热点。其原理是利用载体中存在的冗余信息来隐藏秘密信息。它通过隐藏通信过程的存在来获