基于位图索引的FITS文件分布式存储与索引技术研究

来源 :昆明理工大学 | 被引量 : 2次 | 上传用户:mengyi123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大多数天文观测中产生的数据是以FITS (Flexible Image Transport System)文件的形式存储的,这种文件格式在全世界范围内被用于保存和交换数据。由于大量的大型多通道多波段天文望远镜的应用,当今天文观测产生的FITS文件的数量激增,这为如何存储和快速检索如此数量惊人的文件提出了挑战。在以前,这止匕FITS文件是没有被索引的。它们被直接存在硬盘或者其它存储介质上。当一个硬盘存满的时候,会被换上一个新的,被替换下来的硬盘将会被存放在一个专门用于存放使用过的硬盘的仓库内。这些硬盘的替换工作都需要由人工来完成,造成了人力资源的浪费。而且这些被替换下来的硬盘当然不是联机的,所以查询在它们上存储的文件是一项困难的任务。所以只有当查询条件是一个日期或是一个时间段,才有可能比较容易获得查询结果,而像锥形检索这样复杂的检索条件很难被完成。这种由数量激增的FITS文件所导致的问题曾经被数据库管理系统(DBMS),如MySQL和Oracle等所解决。但是随着文件的数量越来越快地增长,传统的数据库管理系统无法跟上文件数量增长的脚步。这使得索引和查询所花费的时间也越来越长。本文介绍了使用分布式存储系统来解决FITS文件存储问题的方法,介绍并通过实验对比了几种分布式文件系统。通过对实验结果的分析,得出了类似GlusterFS和Lustre这类的对文件的写入性能表现得较好的分布式文件系统更适合用于存储在持续天文观测中不断产生的海量的FITS文件的结论。并且最终选取了GlusterFS作为FITS文件分布式存储系统所使用的分布式文件系统。在解决FITS文件的检索问题上,本文提出了使用位图索引的方式加速FITS文件的检索,并通过将FastBit位图索引技术应用在分布式系统上,开发了FITS文件分布式索引系统,实现海量FITS文件的快速索引和查询。本文通过实验证明了FastBit位图索引技术在解决海量FITS文件索引的问题上有其性能优势,并证明了在FITS文件分布式存储的情况下,基于FastBit位图索引技术的FITS文件索引与查询系统能很好地发挥多机协作的优势,能较大地提高海量FITS文件的检索速度。
其他文献
<正>设计理念《怀念母亲》是人教版课标本六年级上册的一篇课文。高年级阅读课的第一课时,习惯上总是以解决读通课文、读准字音、了解文章主要内容、梳理脉络等问题为主。新
初中阶段的学生,正处于青春期,身体和心理都发生着巨大的变化,尤其刚入学的新生,首先需要面临的一个重要的问题就是适应,如何能在短时间内迅速的适应学校的学习和生活,值得每
进入21世纪以后我国也同时进入了经济社会的全面高速发展时期,人们群众的物质生活的日渐提高,对食品方面的要去也越来越做到精益求精,尤其是在危害身体健康的问题上绝不放低
目的:青光眼的眼压增高与小梁网的氧化变性、流出阻力增加有关。原发性开角型青光眼(Primary Open Angle Glaucoma,POAG)患者中细胞外基质(Extracellular Matrix, ECM)的异常
葡萄酒作为一种健康时尚的饮品,具有抗氧化性、抗肿瘤以及舒化血管等功能,广受消费者喜爱。近年来,我国对葡萄酒的进口量逐年上升,但目前对葡萄酒的原产地信息认识仍比较模糊,也缺
目的比较不同设计的一片式非球面人工晶体(intraocular lens, IOL) AO、ZCB00、 PY60AD植入术后1个月和3个月的倾斜和偏心及全眼和眼内总高阶像差(total high order aberrati
行政检察建议是检察机关运用检察权监督行政行为、预防和减少行政违法行为的一种方式。行政检察建议作为检察监督的手段可以分为预防职务犯罪类的行政检察建议、法律监督类的
双廊镇大建旁村是洱海东北岸的一个白族村寨,当地村民曾主要以打渔为生。旅游开发之后,一批外地商人和设计师涌入此地,在村子沿洱海的岸边盖起“海景房”客栈,在吸引了大批游
我国的农业结构历经从最初的适应性调整到现在的战略性调整的几个阶段,取得了很大成就,但是由于农业结构战略性调整的长期性、艰巨性和复杂性,当前农业结构还存在着诸如自然资源
养老保险是社会保障体系中的重要组成部分,是国民收入的再分配方式,是解决老年居民生存危机的重要政策,是经济发展到一定阶段公民应当获得的一项基本权利。农村社会养老保险制度