面向天文数据的实时查询引擎关键技术

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:biluo2007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
天文数据分别被保存在世界各大天文台中,随着天文数据量爆炸式的增长,想要从海量的数据中找到满足用户需求的天文数据非常困难。天文星图的信噪比值是对星体目标检测的一个重要属性,为了能够实现天文数据的共享,论文基于Storm平台研究开发了一种面向天文数据的分布式实时查询引擎。查询范围为天文数据FITS文件中的信噪比值属性。能够实现用户在输入查询请求后,从世界各地的天文台上下载相关天文数据,并同时对下载的天文数据中的信噪比值进行有效正确的实时查询,将符合条件的数据筛选出来。实时查询引擎重点关键技术为查询逻辑计划和物理执行计划的生成和优化。接收用户需求后,对需求进行正确性校验和语义分析,然后转变到查询逻辑计划并对逻辑计划进行相关的优化。采用分解关系、选择下推等基本办法进行初步优化,再设立单独监控模块对查询代价进行实时监控,如果查询代价超出所设阈值范围则对逻辑计划进行动态调整,可以有效的减少查询过程的中间量以提高查询效率。生成优化的查询逻辑计划后需要转化为物理执行计划,论文实现基于代价预估选择代价最小的物理执行方案,以及对Storm原生负载均衡调度机制的优化,实现多任务运行时Storm各个节点的Slot分配更加均衡。在实际系统上对有无优化算法进行实验对比后,发现对查询逻辑计划的动态优化有效的减少了总体查询时间,基本实现了单节点百兆网卡满速下载的实时查询不产生数据拥堵。
其他文献
柳叶白前(Cynanchum stauntonii(Decne.)Schltr.ex Lévl.)为萝藦科鹅绒藤属植物,广泛分布于我国南方各省区,是《中国药典》收载的一味常用中药,常见用于复方制剂中,具有止咳、化
肾性骨病是慢性肾功能不全伴随的代谢性骨病。本文详述肾性骨病的分型、临床表现、诊断与治疗。本病发病率高,其发病机理已有进一步了解,故近年更受重视。
开发了用HDDR各向异性NdFeB粉加环氧树脂做的高能积模压成型粘结磁体微波研究了Co、Ga含量地NdFeB粘结磁体的磁性能的影响和工艺重复性,最后做出的各向异性粘结NdFeBCoGa磁体的磁性能为:Br≥800mT,HCJ≥800km,ACB≥440kA/m,(BH)max=127±16kJ/m^3
我国很多地区存在含氟地下水污染,水体氟污染对人体和环境的危害已经引起人们的广泛关注,因此研究一种经济、高效的除氟方法和吸附剂显得尤为重要。论文采用试验与理论分析相
我们作为21世纪国家发展的见证者,作为电视新闻记者,捕捉社会热点,宣扬社会主义精神文明是我们不可推卸的责任,新时期掌握互联网技术,融合多方视角进行记者访问、信息梳理,建
语文课具有综合导向性、情感激发的直接感染性等特点.语文教师在教学过程中若充分挖掘和利用文中的美,能让学生受到感染和教育,使课堂教学收到意想不到的效果.
一、集体课的组织钢琴集体课对教师的要求不同于传统教学,首先,教师必须要有很强的课堂组织能力和吸引力,启发学生的学习兴趣和热情;要有扎实的钢琴专业教学经验与很好的语言表达
根据文献分散规律和统计引文按期刊的分布情况对磁学专业中外文核心期刊进行了选择和确定,并结合采购经费紧缺的实际情况提出采购策略,以减少期刊订购的盲目性,合理利用经费。
黄瓜(Cucumis sativus L.,2n=2x=14)是世界十大蔬菜之一,也是我国保护地栽培的主要蔬菜作物。2017年我国黄瓜栽培面积为123.7万公顷,年产量达6487.5万吨,占世界总量的54.4%和77.5%。黄瓜食用部分是幼嫩的果实部分,果实性状是重要的农艺性状,直接影响经济效益。利用EMS诱变技术创制新种质,构建黄瓜突变体库,从中筛选果实变异突变体,为果实发育机理研究及黄瓜育种提
本实验在课题组Zakir Hussain的研究基础上,选用锰(Mn)、锆(Zr)两种金属元素制备复合脱氟吸附剂,力求开发一种吸附性能好且适用范围广的除氟吸附剂。具体实验内容包括以下几个方