基于时空信息云平台的空间大数据管理和高性能计算研究

来源 :昆明理工大学 | 被引量 : 45次 | 上传用户:HUYA123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
地理空间科学研究和应用的发展常常伴随计算机信息技术的发展而取得巨大进步,同时,本学科的发展也向计算机信息技术提出了挑战。随着全球互联网迅速普及、传感器技术、对地观测技术的发展,地理空间科学发展进入了新的阶段,空间信息服务从数字地球向智慧地球转变,对传统的计算机技术提出了数据密集、计算密集、高并发访问及时空密集的挑战,传统的地理信息公共服务平台已不能适应智慧城市建设的要求。另一方面,计算机信息技术已进入云计算和大数据时代,新的计算模式和技术为解决地理空间科学发展中遇到的问题提供了新的解决方向。时空信息云平台是空间云计算的具体实现,它是智慧城市建设中的一个重要部分。本文以智慧城市时空信息云平台建设为研究背景,通过空间云计算技术解决地理空间科学研究向信息技术提出的4个挑战,围绕空间大数据的存储管理、高性能空间计算和时空信息云平台构建关键技术等展开了相关研究。论文主要研究内容及创新点如下:(1)时空信息云平台框架体系a)云计算框架及相关概念:研究了云计算的基本概念,云计算服务方式和分类:包括公有云、私有云、社区云和混合云四种服务方式。对目前云计算的基础设施即服务层(IaaS)、平台即服务层(PaaS)和软件即服务层(SaaS)进行了详细的论述。b)空间云计算:研究了空间云计算的概念,空间云计算与常用云计算框架的区别及特征,特别是专用于空间数据服务和处理的数据即服务层(DaaS)。然后详细论述了空间云计算技术在应对地理空间科学提出的数据密集、计算密集、高并发访问及时空密集问题的解决方案。c)提出了一种基于空间云计算时空信息云平台的新框架体系,包括IaaS、DaaS、 PaaS、SaaS层以及通过时空规律优化的时空信息云平台资源调度的虚拟服务层。(2)时空信息云平台构建的几个关键技术时空信息云平台除了具有云计算的虚拟化技术、S0A、多租户等关键技术外,还有针对地理空间科学研究和应用特征的三大关键技术。a)基于时空的动态资源调度:研究了云计算中的虚拟化技术以及基于虚拟化平台的资源调度,并提出了在时空信息云平台中基于时空规律的资源调度框架和算法,通过构建空间云资源调度的时空四元组调度模型,提出了一种优化免疫克隆算法实现了多时空目标的优化调度算法。b)时空信息云平台的自动伸缩和负载均衡技术:研究了典型的负载均衡技术主要包括简单阈值规则、固化学习、排队理论等。选择按照简单阈值规则的自动伸缩和负载均衡技术作为时空信息云平台的处理机制,提出了基于时空规律的自动扩展和负载均衡策略模型,并实现了优化调度算法。c)地理空间科学中的服务链组合技术,对服务链遵循的OGC地理空间服务标准进行了讨论;详细研究了工作流技术以及工作流在云计算环境下的应用策略和模型;提出了在一种时空信息云平台服务链组合模式:集成动态计算资源的服务链组合,并基于时空原则对服务链进行优化。(3)基于时空信息云平台的空间大数据管理a)大数据概念及关键技术:研究了大数据的概念及大数据对IT信息技术所带来的挑战。处理大数据的关键技术,包括存储大数据的分布式文件系统、高效处理大数据的并行计算框架;研究了NoSQL关键技术和分类,详细讨论了HBase的架构,特点。b)空间大数据:与传统的互联网大数据相比,空间大数据具有更明显的多源异构、多时空属性、多维和分布性的特征。c)基于时空信息云平台的DaaS服务:提出了一种时空信息云平台的DaaS架构,采用HDFS+HBASE+RDBMS的混合存储结构,为空间大数据提供存储服务能力。d)讨论了空间数据存储的概念模型,并研究不同用途的栅格数据和矢量数据在DaaS中的储存管理机制。e) PMMI:提出在时空信息云平台中,空间大数据存储管理和访问的多时空索引优化调度机制(Predefined multiple indices mechanism,PMMI)。(4)基于时空信息云平台的高性能空间计算研究a)高性能计算:研究了传统的高性能计算技术,在超级计算机发展的同时,云计算的发展推动了计算模式的演进。b)研究了云计算环境下的高性能计算,讨论了时空信息云平台高性能计算云在虚拟化平、云管理软件、存储管理。提出了一个时空信息云平台和Hadoop集群共同组成高性能空间计算服务框架,使得Hadoop集群利用云平台的动态扩展性获得更好的扩展能力。c)基于时空信息云平台构建了用于地理国情高性能统计应用,设计实现了一个高性能地理统计分析系统Hadoop-Geostatistics GIS,实现了多种空间统计指标的计算流程和MapReduce算法,并通过实验验证了比传统的单机模式具有明显的性能提升,并可横向扩展。(5)时空信息云平台原型系统基于本文的研究成果构建了一个时空信息云平台原型系统SCCP (spatiotemporal cloud computing platform)。包括了IaaS、DaaS、PaaS和SaaS的详细设计,本文在原型系统中实现了时空信息云平台的框架设计及各服务层的详细设计实现,通过原型系统验证了本文部分的研究内容。
其他文献
<正>硬度不足就找万艾可帮忙,这几乎已经成为成年人的常识。但是,硬度不足是表象,其反映出了哪些潜在的身体问题呢?形肥嗜酒湿热蕴郁内经有云,"湿热不攘,大筋软短,小筋弛长,
小学音乐教学作为小学教学的重要部分,对培养学生审美情趣、开拓学生视野具有重要作用。本文结合奥尔夫教学特点、原理,对怎样搭建科学的音乐体系,将舞蹈、音乐、动作有机的
文章以甘肃省金塔县特色农业为调研区域,研究树莓产业化发展中农业科技推广的模式与效益。结果显示,树莓以其特有的自然属性适合于金塔县特有的生态特性,经农户自有引进与试
目的:了解当代大学生的婚恋态度,为学校健康教育提供依据。方法:采用问卷调查的方法,对泰安市256名大学生进行婚恋态度的调查。结果:赞成大学期间恋爱者占绝大多数(82.6%),而
目的通过调查研究益母草的药理作用以及在妇科临床的应用效果。方法采用随机数字表法选择我院2010年2月至2011年8月收治的50例妇科疾病患者,对其使用益母草治疗的效果进行回
目的了解南京市儿童医院重症肺炎患儿病原学分布及主要病原菌耐药性。方法选取2016年01月-12月重症肺炎患儿198例作为研究对象,收集患儿鼻咽分泌物行病原菌培养及药敏鉴定,并
<正> 钢丝绳卷筒传动机构主要由钢丝绳和卷筒组成,在需要导向或改变运动方向时也引入滑轮装置。此种传动具有结构简单、工作安全可靠,能承受冲击、过载能力强、成本低等特点,
<正>沃尔玛、沃尔格林、CVS、健安喜、Kerr Drug等主流药品零售商纷纷改变店面布局。光顾店面时间缩短、交易量减少和对价值关注持续升温是消费者购物习惯改变的三个显著方面
目的研究儿童重症肺炎病原体分布情况,为临床诊治提供参考。方法回顾性分析2016年因重症肺炎入住福建省妇幼保健院PICU的病例331例。入院当日采集血液标本,用酶联免疫法检测
<正>1病因病机白癜风是一种色素代谢紊乱的顽固性皮肤病,临床常见。该病有遗传倾向,无固定好发部位,可局限或泛发,其特征为大小不一、形态各异的白色斑片。《医宗金鉴》称"白