MUSER海量数据预处理关键技术研究

被引量 : 10次 | 上传用户:wei_357
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着天文观测技术与手段的突飞猛进,更多的地基与天基望远镜建成并投入观测,导致天文观测数据呈爆炸式增长,快速有效地处理不断増长的海量数据成为天文学界当前亟待解决的重要问题。本文以明安图超宽频谱射电日像仪(Mingantu Ultrawide Spectral Radioheliograph,MUSER)海量观测数据处理分析系统的研究为背景,细致调研了MUSER的总体架构,观测数据量,原始数据格式及数据处理需求,在此基础上对MUSER海量数据预处理中的关键技术进行了系统研究:1)对当前海量数据检索技术进行了调研与选型研究,通过实验对各种检索技术进行了对比研究,实验结果表明FastBit在海量数据情况下更可满足实时索引创建与检索的要求;2)将FastBit实际应用于MUSER观测数据实时索引和批量数据索引的置连.并采用究进双缓冲究术实现了MUSER原始观测数据的实时索引与存储、事后索引重建及高速检索系统,同时实现了索引的一致性校验;3)实现了符合MUSER实际需求的、集成高性能检索的相关数据提取、校准、补偿,天线坐标转换,积分等计算;4)给出了满足MUSER实际需求的FITS-IDI文件的定义,设计了其中的字段与填充值,最终生成的FITS-IDI文件通过了常用天文软件的验证。整体来看,本文的研究解决了MUSER海量观测数据实时索引,存储和高速检索中的难题,在高性能海量数据快速检索与天文数据处理流水线实现上有创新,研究成果已经应用于MUSER数据处理系统中,并取得了良好的应用效果。
其他文献
目的:对加味香砂六君子颗粒治疗小儿肺脾气虚型慢性咳嗽的临床研究。方法:通过对导师的经验总结和文献的综合研究,制订临床研究方案,将60例符合小儿肺脾气虚型慢性咳嗽纳入标准
全球化深刻改变了世界经济、文化、政治等多个领域的发展格局,对中华民族的凝聚力既带来了机遇,也带来了挑战。在错综复杂的国际形势之下,传承中华民族优秀的精神理念、增强各民
由于汽车在减重方面的要求,用铝合金板材代替钢板制造汽车覆盖件已是当前汽车行业的重要发展趋势之一。在冷冲压条件下与钢板相比铝合金板材存在着塑性低和回弹大的缺点,由于超
我国近年来的电子商务交易额增长率一直保持快速增长势头,特别是网络零售市场更是发展迅速,电子商务逐步走进人们的日常生活中,而女性消费者毫无疑问的是电子商务强劲发展势头背
本文以开发利用垂柳资源,探明垂柳中黄酮类化合物的生理活性为主要目的,对垂柳叶黄酮类化学成分进行提取分离,并对其抗动脉硬化和降脂减肥药理活性进行研究。初步摸索了垂柳叶中
目的:观察药线治疗高位肛漏的疗效及优势。方法:将符合高位肛漏诊断60例患者按单双号随机分为治疗组及对照组各30例,治疗组应用橡皮筋加药线挂线治疗,对照组用橡皮筋挂线治疗
目的探讨聚维酮碘在白内障手术患者术前结膜囊冲洗中的应用效果。方法选取2017年1月—10月于我院进行白内障手术的204例患者为研究对象,按随机数字表法分为研究组(术前聚维酮
<正>布老虎的来历现在已无从考究,但它是一种古代就已在中国民间广为流传的工艺品,它又是很好的儿童玩具、室内摆设、馈赠礼品及个人收藏品。它品种繁多,流传广泛,极具乡土
万物有生有息。休假作为调节人类劳动和休息的一种制度,自古有之。现代社会人们的劳动时间缩短,生活节奏加快,休假制度也必须与时俱进。带薪年休假是近一百年西方社会广泛采
核心素养不是与生俱来的,需要通过各教育阶段长期培养才能逐步形成,课堂是学生核心素养形成的主阵地,随着教学改革的进一步深入,传统课堂教学的弊端逐渐显现出来,人们逐渐认