基于天区划分索引的天文图像数据高效检索方法

来源 :天津大学 | 被引量 : 0次 | 上传用户:chaohushixi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
天文学在过去、现在以及将来都一直是一门以数据为基础的学科,由望远镜拍摄到的图像数据是天文学数据中非常重要的一部分。近年来随着望远镜的建设以及各项大型巡天观测项目的开展,天文图像数据量在飞速增长,现在已经到达了TB量级并向着PB量级快速迈进。天文学已经进入了大数据时代。巨大的数据量对于天文学中传统的数据分析处理流程及工具都提出了新的挑战。天文学者的日常研究中往往关注于一个具体的目标,因此不需要也不能够处理全部的海量观测数据,因此,要有效使用大数据的第一步也是最为关键的一步就是要能够在其中寻找到真正需要的数据子集。本文从天文学领域中需要从大量数据中检索FITS图像文件的这一现实需求出发,提出了一套基于天区划分索引的天文图像数据高效检索方法(Accelerating Query Using Area pixelization indexing,AQUAdex)。本方法采用了“原位”(in-situ)的数据处理模式,无需数据导入过程即可对原始图像数据建立索引并进行检索。经过专门设计的索引结构仅保留了检索中需要的关键信息,从而维持了较小的索引数据体积并使其可以被完全载入内存之中而避免了昂贵的磁盘I/O交互开销。另外,本方法还适用于数据中心中多核心多节点的服务器架构,并发请求处理能力优秀。本文使用AQUAdex方法为真实观测数建立了索引,检索实验结果表明基于天区划分的索引查询效率比非基于天区划分的索引查询效率提高了9倍之多。AQUAdexIM采用纯内存计算的方式,其对天文图像数据的检索效率相比于应用广泛的内存数据库Redis也提升了10倍之余。此外,本文中提出的方法还实现了对多核多节点运行环境的支持,尽可能充分地利用现有的计算资源来提高并发响应速度。
其他文献
为研究盾构下穿铁路时不同加固方案的效果,通过FLAC 3D数值模拟,在分析盾构参数对地表沉降影响的基础上,对比研究了D型梁加固和管棚注浆加固2种股道加固方案的特点,得到如下
目的:通过小鼠实验探讨美藤果油改善记忆功能的作用。方法:72只雄性SPF级昆明小鼠随机分为空白组,模型组,美藤果油低、中、高剂量组(375.1、750.2、1 500.0 mg/(kg·d),以体
生于上海、久居苏州,朱文颖的许多小说中都体现了江南文化特别是苏州文化的地域色彩.而对于她的"无底之底"的苏州,朱文颖则进行了诗意阴柔而不失诡谲的书写.她的这些以苏州为
近些年来,碳基一维纳米材料和硅烷基一维纳米材料因为其应用前景而引起人们的持续关注。而其中具有π共轭体系的碳基导电高分子材料,如聚乙烯、聚吡咯、聚茂铁、聚噻吩等因拥
在机体内,由超氧化物歧化酶(SOD)、谷胱甘肽过氧化物酶(GPx)、谷胱甘肽S-转移酶(GST)等组成的抗氧化酶系统的协同作用,能够清除多余的活性氧物种(ROS)使得ROS浓度维持在正常
教育实习为职前教师们提供了宝贵的学习机会,让他们能够在真实的课堂情境中把理论学习与教学实践相结合,为未来的教学生涯做好充分准备。作为特定学科领域的资深教师,实习指
研究采用西门子SINAMICS系列变频器及PLC对桥式抓斗起重机的智能控制,运用先进的可编程控制技术、变频器和绝对值编码器取代传统的电气控制方式,可以提高抓斗起重机的工作效
机器人的研发从本体机械设计到样机试验,期间需要经历诸多过程,其研发周期十分漫长。得益于计算机技术的发展,机器人仿真成为一种缩减机器人研发周期和研发成本的有力手段。在众多的机器人仿真平台中,机器人操作系统(Robot Operating System,ROS)因其优越性迅速脱颖而出,成为主流机器人仿真平台。由于ROS环境下生成机器人模型所需的机器人统一描述格式(Unified Robot Descr
本文以Chen&Starosta(2000)基于美国文化背景研发的跨文化敏感度量表为基础,对我国1 200名大学生进行问卷调查,并通过探索性和验证性因子分析,初步构建了一份具有较好结构效
随着房地产消费市场的日益成熟,国家关于房地产宏观政策等方面的调整,房地产企业的扩张模式正在由最初的规模型、粗放型向着精品型、集约型等方面转变,房地产企业之间的竞争,