面向分布式存储系统Ceph的遥感影像瓦片存储及其关键技术

来源 :浙江大学 | 被引量 : 0次 | 上传用户:kupanda09
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着遥感技术以及信息技术的快速发展,遥感影像已经成为科学研究、行业应用以及互联网企业最重要的地理数据之一。此外,为了有效提高遥感影像数据的快速共享、处理、分析与显示效率,影像切片技术逐渐成为影像对外提供服务的重要方式之一,因此,遥感影像瓦片也成为各行业部门对外提供服务的基础数据,如何对海量遥感影像瓦片进行高效组织、存储和管理是遥感影像对外提供高性能服务的关键所在。传统的基于数据库和文件系统的遥感影像瓦片存储系统,不仅在存储性能方面表现较差,同时也难以扩展和维护,已经无法满足海量遥感影像瓦片的存储。而新一代的基于主从架构的No SQL数据库以及HDFS分布式文件系统,由于存在主节点单点故障问题,其主节点往往容易成为整个存储系统的性能瓶颈。此时,基于无中心化架构思想的分布式存储系统Ceph由于其被设计成一款没有单点故障,具有高性能、高可靠性以及高扩展性的系统,已经成为海量遥感影像瓦片存储的最佳选择。但其在存储海量遥感影像瓦片这样的小文件时具有明显的性能缺陷。针对上述问题,本文在前人的小文件合并方案的基础上,充分考虑了遥感影像瓦片的时空特性,设计并实现了海量遥感影像瓦片多级优化存储方法TMOSM。本文主要的研究内容如下:(1)设计了海量遥感影像瓦片多级优化存储方法TMOSM。针对Ceph在存储海量遥感影像瓦片等小文件时性能表现不佳的问题,本文基于遥感影像瓦片合并和预取缓存策略设计了海量遥感影像瓦片多级优化存储方法TMOSM。从遥感影像瓦片合并存储策略、全局映射索引策略以及预取缓存策略等多方面对面向Ceph分布式存储系统的遥感影像瓦片存储进行了读写性能优化。(2)提出了基于扩展Z曲线和一致性哈希的遥感影像瓦片合并存储策略。为了将具有高度空间相关性的遥感影像瓦片合并在一起,同时考虑合并服务集群的伸缩性,本文通过分析已有数据划分方法的不足和缺陷,提出了基于扩展Z曲线和一致性哈希的遥感影像瓦片合并策略,该策略能够将空间上彼此邻近的瓦片合并成一个遥感影像瓦片数据集,并能够根据合并服务节点的性能分配合并数据集的数目,同时考虑到合并服务集群的扩展性和所产生的数据迁移问题。(3)设计了顾及瓦片时空特性的瓦片预取技术和缓存置换策略。为了充分发挥缓存服务器的存储性能,提高遥感影像瓦片的读取性能和访问效率,本文制定了基于深度优先策略和广度优先策略的预取策略,充分利用用户执行地图操作时的停顿时间,根据用户的访问特性将下一步可能访问的瓦片数据预取到服务器本地缓存,提高用户的响应速度和访问瓦片的效率。此外,设计了基于瓦片时空特征价值的瓦片缓存置换策略,利用遥感影像瓦片的访问特性和时空特性,提高遥感影像瓦片的读取性能。
其他文献
针对近期乡村建设中普遍存在的“精英主义”、“科学主义”等问题,通过借鉴科学传播理论的相关研究成果,试图让科学与文化、精英与村民交流起来,对混乱无序的价值取向冲突进行整合,相互取长补短,从而达到多方参与互利共赢,多元主体共建共享的乡村建设目标。本设计研究以晋宁区高粱地村为研究对象,新村设计为主旨内容,通过要点解读、理论把握、设计实践三个方面的探究,形成逐层推进的设计研究路径。首先,对上位条件、主体意
在今天实施乡村振兴和推动城镇化的政策背景推动下,大量的各类型的乡村都将通过一轮乡村设计开启振兴的第一步。当下我们已经在反思以往乡村设计中“大拆大建”或“千村一面”等建设方法带来的弊端,这不仅与乡村振兴的实质目标不符,更缺少建筑学视野下的专业思考。面对已经到来的乡村建设热潮及大量等待建设的乡村,为从建筑学的角度解决目前的乡村问题,建筑师、规划师们需要在不断参与乡村建设的过程中探索适用于现阶段乡村设计
基于四重氢键作用结合的超分子聚合物具备独特的动态可逆性和环境(热,光,p H等)响应性,是用于设计自愈合等智能型功能材料的绝佳选择。近年来,一类以AADD-DDAA的形式结合的四
中华续行委办会是中国基督教历史上第一个涵盖各宗派的全国性机构,也是中国基督徒在教会事务中发挥作用的开始。它成立于1913年3月全国基督教大会。1922年5月,基督教全国大会在中华续行委办会的筹备下召开,会上中国代表首次正式提出本色化并成立中华全国基督教协进会,委办会的使命宣告结束。本文主要关注该机构的建设以及它在调查事业和中西合作方面所做的工作,梳理它成立的过程以及它在调查和协作方面所承担的任务。
严格的环境规制要求企业强化污染治理,在治理污染物排放方面进行一定投资,生产要素的利用效率也要得到一定程度的提高,生产技术方面要得到相应的改善。在有限资源约束的情况下,这势必会迫使企业在环保投资和生产投资之间进行权衡;企业在利润最大化约束目标下,作为逐利实体,企业的权衡可能会影响环境规制的目标效果,同时企业的绩效也会受到一定影响,进而影响企业的存续时间。作为社会经济活动的主体成分的企业,本文认为环境
保持加强生态文明建设的战略定力是新时代的新要求新方向,坚定不移贯彻创新、协调、绿色、开放、共享的发展理念,坚持人与自然和谐共生已纳入新时代坚持和发展中国特色社会主义的基本方略构成。坚持山水林田湖草整体保护、系统修复、区域统筹,加强土地生态系统保护修复是生态文明建设的重要任务之一。因此,本文以人与自然和谐共生为研究视角,针对土地生态压力问题,基于人地关系、生态系统服务及生态系统资源消耗与占用思路构建
随着我国经济的快速发展,能源结构的调整势在必行,页岩气作为重要的清洁能源,如何提高页岩气的开采产量成为了当下亟待解决的技术难题。页岩气作为非常规油气资源,其储存基质
辛亥革命后,对平民的革命教育在中国的宣传出现高潮。许侠夫等早期琼崖共产党人很重视对海南人民的革命教育,他们在指导琼崖人民开展革命教育运动方面做了很多工作,同时也为
会议
近年来,区块链受到各国政府和行业越来越多的关注和重视,证券市场也是区块链的重点应用方向之一。区块链分布式、难以篡改性、公开透明等特点能解决一些传统证券市场所存在的弊端,在证券市场有巨大的应用潜力。但区块链的去中心化也会给传统证券市场的法律关系、运作安全以及监管带来许多挑战。本文基于对区块链在证券市场应用去中心化与中心化的权衡,并借鉴境外证券市场区块链应用案例与法律规制情况,提出法律完善建议,力图完
一、课题的提出:(一)研究背景:随着全球化意识的增强和国际社会的发展,英语已经成为人类工作和生活的中使用最广泛的语言。英语阅读是我们获取信息的主要途径之一。《英语课
会议