论文部分内容阅读
人类对地观测技术的发展使得大范围高精度地形数字高程模型(DEM)数据的数据量呈爆炸式增长。基于单一计算机的传统数字地形分析方法由于存储与计算性能有限,无法满足地学研究和生产应用的需求。面向新型硬件架构的并行数字地形分析理论和方法的研究已经成为地学界的研究热点之一。然而,目前的研究着重于考虑地形分析算法的并行,很少涉及面向并行数字地形分析的海量DEM数据以及数字地形分析结果的管理问题,已有的DEM数据管理模式也无法满足并行数字地形分析的需求。分布式计算平台Hadoop被认为是海量数据处理和分析的利器。如何利用Hadoop来管理急剧增加的DEM数据,以满足并行数字地形分析的需求,是值得研究的课题,本文即围绕此课题展开研究,主要内容包括以下三个方面：1)面向并行数字地形分析的DEM数据组织方式在深入分析并行数字地形分析的特点及其对DEM数据组织和管理需求的基础上,详细介绍了DEM金字塔结构及其构建方法和数学模型,并基于此结构设计了DEM及其增量数据的分布式存储模型,可实现海量DEM数据及其并行数字地形分析结果的有效存储。21面向并行数字地形分析的DEM数据管理方法DEM管理方法包括空间索引机制、数据压缩方法、系统容错机制和并发访问策略等。本文结合HBase数据库的存储模式,构建了三级空间索引,并提出了基于内容的空间索引方法,使系统同时支持基于特征查询和基于内容查询。在数据压缩方面,设计了高程增量游程编码压缩算法,并对算法的适用性进行了实验验证。此外,深入研究了Hadoop的容错方案和高并发访问策略,并结合DEM数据的特点,给出了配置参数的建议值以及部分实现代码。3)DEM云存储原型系统的设计与实现通过分析DEM云存储系统的设计需求,给出了系统的详细设计方案。并以三台PC机搭建Hadoop集群模拟DEM云存储环境,在该集群环境上开发了DEM云存储原型系统。该系统支持四种查询方式：①基于文件名查询；②基于范围和分辨率查询；③基于范围和格网数查询；④基于内容查询。以全球SRTM3数据为实验数据对系统进行验证。实验结果表明,数据检索的结果是完全正确的,在现有的集群环境条件下,数据检索的时间效率是令人满意的。