论文部分内容阅读
地理空间科学研究和应用的发展常常伴随计算机信息技术的发展而取得巨大进步,同时,本学科的发展也向计算机信息技术提出了挑战。随着全球互联网迅速普及、传感器技术、对地观测技术的发展,地理空间科学发展进入了新的阶段,空间信息服务从数字地球向智慧地球转变,对传统的计算机技术提出了数据密集、计算密集、高并发访问及时空密集的挑战,传统的地理信息公共服务平台已不能适应智慧城市建设的要求。另一方面,计算机信息技术已进入云计算和大数据时代,新的计算模式和技术为解决地理空间科学发展中遇到的问题提供了新的解决方向。时空信息云平台是空间云计算的具体实现,它是智慧城市建设中的一个重要部分。本文以智慧城市时空信息云平台建设为研究背景,通过空间云计算技术解决地理空间科学研究向信息技术提出的4个挑战,围绕空间大数据的存储管理、高性能空间计算和时空信息云平台构建关键技术等展开了相关研究。论文主要研究内容及创新点如下:(1)时空信息云平台框架体系a)云计算框架及相关概念:研究了云计算的基本概念,云计算服务方式和分类:包括公有云、私有云、社区云和混合云四种服务方式。对目前云计算的基础设施即服务层(IaaS)、平台即服务层(PaaS)和软件即服务层(SaaS)进行了详细的论述。b)空间云计算:研究了空间云计算的概念,空间云计算与常用云计算框架的区别及特征,特别是专用于空间数据服务和处理的数据即服务层(DaaS)。然后详细论述了空间云计算技术在应对地理空间科学提出的数据密集、计算密集、高并发访问及时空密集问题的解决方案。c)提出了一种基于空间云计算时空信息云平台的新框架体系,包括IaaS、DaaS、 PaaS、SaaS层以及通过时空规律优化的时空信息云平台资源调度的虚拟服务层。(2)时空信息云平台构建的几个关键技术时空信息云平台除了具有云计算的虚拟化技术、S0A、多租户等关键技术外,还有针对地理空间科学研究和应用特征的三大关键技术。a)基于时空的动态资源调度:研究了云计算中的虚拟化技术以及基于虚拟化平台的资源调度,并提出了在时空信息云平台中基于时空规律的资源调度框架和算法,通过构建空间云资源调度的时空四元组调度模型,提出了一种优化免疫克隆算法实现了多时空目标的优化调度算法。b)时空信息云平台的自动伸缩和负载均衡技术:研究了典型的负载均衡技术主要包括简单阈值规则、固化学习、排队理论等。选择按照简单阈值规则的自动伸缩和负载均衡技术作为时空信息云平台的处理机制,提出了基于时空规律的自动扩展和负载均衡策略模型,并实现了优化调度算法。c)地理空间科学中的服务链组合技术,对服务链遵循的OGC地理空间服务标准进行了讨论;详细研究了工作流技术以及工作流在云计算环境下的应用策略和模型;提出了在一种时空信息云平台服务链组合模式:集成动态计算资源的服务链组合,并基于时空原则对服务链进行优化。(3)基于时空信息云平台的空间大数据管理a)大数据概念及关键技术:研究了大数据的概念及大数据对IT信息技术所带来的挑战。处理大数据的关键技术,包括存储大数据的分布式文件系统、高效处理大数据的并行计算框架;研究了NoSQL关键技术和分类,详细讨论了HBase的架构,特点。b)空间大数据:与传统的互联网大数据相比,空间大数据具有更明显的多源异构、多时空属性、多维和分布性的特征。c)基于时空信息云平台的DaaS服务:提出了一种时空信息云平台的DaaS架构,采用HDFS+HBASE+RDBMS的混合存储结构,为空间大数据提供存储服务能力。d)讨论了空间数据存储的概念模型,并研究不同用途的栅格数据和矢量数据在DaaS中的储存管理机制。e) PMMI:提出在时空信息云平台中,空间大数据存储管理和访问的多时空索引优化调度机制(Predefined multiple indices mechanism,PMMI)。(4)基于时空信息云平台的高性能空间计算研究a)高性能计算:研究了传统的高性能计算技术,在超级计算机发展的同时,云计算的发展推动了计算模式的演进。b)研究了云计算环境下的高性能计算,讨论了时空信息云平台高性能计算云在虚拟化平、云管理软件、存储管理。提出了一个时空信息云平台和Hadoop集群共同组成高性能空间计算服务框架,使得Hadoop集群利用云平台的动态扩展性获得更好的扩展能力。c)基于时空信息云平台构建了用于地理国情高性能统计应用,设计实现了一个高性能地理统计分析系统Hadoop-Geostatistics GIS,实现了多种空间统计指标的计算流程和MapReduce算法,并通过实验验证了比传统的单机模式具有明显的性能提升,并可横向扩展。(5)时空信息云平台原型系统基于本文的研究成果构建了一个时空信息云平台原型系统SCCP (spatiotemporal cloud computing platform)。包括了IaaS、DaaS、PaaS和SaaS的详细设计,本文在原型系统中实现了时空信息云平台的框架设计及各服务层的详细设计实现,通过原型系统验证了本文部分的研究内容。