基于Hadoop平台的天光残留成分的自动识别与检测

来源 :山东大学 | 被引量 : 0次 | 上传用户:yj8888888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
天光作为一种主要的噪声,叠加在目标天体光谱之中,降低了光谱的信噪比。LAMOST作为我国最大的光纤光谱望远镜,其拥有一套完整的观测运行系统以及数据处理的流程,其中减天光作为光谱数据处理中重要的步骤之一,目的在于减去目标光谱中叠加的天光噪声,减天光处理过程的有效性将直接影响目标光谱的信噪比。若经过减天光处理之后光谱中仍含有大量强度高的天光残差将不利于对目标光谱进行后续的分析。目前,自动识别减天光异常恒星光谱的研究较少,只能通过人工检测的方法去寻找减天光异常的光谱,这将大大降低了检测的效率。此外,LAMOST项目在每个观测夜可观测数以万记的光谱数据,因此为了提高对海量光谱数据的处理能力,需要一个可靠和高效的处理平台。而Hadoop作为一个分布式的数据处理平台,可以实现对海量光谱中出现减天光异常光谱进行可靠、高效的识别与检测。综上,本课题主要完成以下工作:(1)首先简要叙述LAAMOST光谱的处理流程,并分析影响减天光结果的因素,找出减天光异常光谱的特征,然后提出一种简单有效的方法能够自动识别LAMOST经过Pipeline处理后仍然存在减天光异常的恒星光谱并检测其位置。(2)基于Hadoop平台对光谱数据进行预处理,然后利用中值滤波算法实现分布式的连续谱归一化处理,其目的在于扣除光谱中的连续谱信息,仅仅保留光谱数据中需要的谱线和噪声信息。实验结果表明,该算法可以有效的保留谱线信息,并且应用Hadoop平台大大提高了对海量光谱的处理效率。(3)利用Hadoop的高效性来检测天光线附近是否有一定强度的类似发射线或吸收线的残留来判定该天光线位置是否出现减天光异常,最后得出光谱中所有的减天光异常的天光位置。通过对LAMOST光谱数据的实验表明,这种方法可以有效识别出减天光异常的光谱和发现不同残留强度的天光线异常位置,并且该方法简单易懂,识别效率高,可以应用于大量的减天光异常光谱的识别与检测问题。
其他文献
水是人类赖以生存和发展的重要物质基础,不安全的饮用水可以造成人类80%的疾病。对于人口密度较大的三峡库区,饮用水源地是整个水库水体的重要组成部分,关系着众多居民的饮水健康,保障饮用水源地水质达标至关重要。然而,当前库区的社会、经济条件,在短期内通过控制上游及周边地区污染源排放来改善当前库区饮用水源地的水质情况是非常困难的,故本研究以保障库区饮用水源地水质达标为重要目标,研究三峡库区水库群联合调度对
在足球比赛中,优秀的进攻能力是一支球队获得比赛胜利的重要因素。为了探讨本届亚洲杯足球赛中中国国家男子足球队的进攻特征,本文将运用文献资料法、专家访谈法、录像观察法、逻辑分析法、数理统计法等研究方法,通过中国足协协会的官方数据服务商同道伟业公司的数据来分析第十七届亚洲杯男子足球赛中国国家男子足球队与对阵球队的比赛。这对于我们了解如今世界足坛的情况、发现中国国家男子足球队与其他球队的不同特征具有一定的
肾癌是一种来源于肾实质小管上皮系统的恶性肿瘤,它是泌尿系统第二常见的恶性肿瘤,其发病率仅次于膀胱癌。最常见的肾癌病理类型是肾透明细胞癌。尽管一些新的靶向治疗药物已被批准用于晚期肾癌治疗,但肾癌患者的治疗效果并不成功。因此探究肾癌发病的分子机制,为获得更加有效的治疗手段提供参考依据显得十分重要。对整个肾癌基因组数据的分析可以帮助我们提高对肾癌的理解和识别新的抗癌靶点。因此,我们通过对TCGA数据库的
和谐、平安的校园需要良好的校园安全作为保障。近年来的校园安全热点问题层出不穷,提升校园安全教育,强化校园安全等方面的问题引起社会广泛关注。开展校园安全教育不仅具有维护校园安全的价值,同时还具有帮助学生了解安全知识、掌握安全技能、培养安全意识、塑造良好生活行为习惯的重要价值。本研究基于社区差异性视域,以云南省大理白族自治州大理市分处城镇、乡村的甲、乙两所完全小学作为调查对象,采用问卷、访谈等方法,全
作为贵州第四代作家代表的欧阳黔森,著作等身、涉猎广泛,举凡诗歌、散文、小说、影视剧本、报告文学等文学体裁,均是其笔耕不辍的文学对象,但其中艺术水平最高、最为作家自己所看重的,却是小说创作。相较于其他贵州作家对乡土文学的执着书写,欧阳黔森的小说创作呈现出多面性、丰富性和差异性,兼具黔地乡土的自然清新、喧嚣都市的现代风韵以及厚重历史的激越高亢,构成了当代中国文学地理版图中不可或缺的部分。本文立足于对欧
目的:初步探索多发性骨髓瘤(Multiple myeloma,MM)患者骨髓间充质干细胞(Bone marrow mesenchymal stem cells,BMSCs)通过PD-1/PD-L1轴对骨髓CD8~+T淋巴细胞功能的调节,为进
如今,便携式设备和无线传感器网络得到了人们的广泛使用。这些电子设备通常使用电池供电,但在一些偏远地区,由于电池的更换和维护非常困难,如何给这些设备供电成为难题,因此,人们对于微小功率能源的收集和利用产生了极高的关注与重视。采用环境中的微功率能量给这些设备供电已经成为可能。而在能量收集系统中如何实现能量收集、升压以及为负载供电成为本文主要的研究问题。DC-DC转换器因其响应速度快、功耗小、电源效率高
近年来,双有源双向DC-DC变换器因其在分布式发电系统、储能系统和智能微电网建设中的潜在用途而引起了广大专家学者的研究。由于该类变换器具有高功率密度、高效率、零电压开关与模块化等优点,因此对其研究具有重要意义。本文研究的双向DC-DC变换器由半桥三电平电路、全桥电路和高频隔离变压器三部分组成。这个拓扑最大优点在于,变换器原边侧所有开关管只需承受输入电压的一半,适合高压大功率运用场合。由于变换器在传
水洞是水动力学研究的重要设备。拐角段以及收缩段是水洞的重要组成部分,对水洞的流场品质具有重要的影响。本文采用流体力学模拟软件对第四拐角段以及收缩段的结构进行优化设计,以期对提高水洞内流场的流场均匀性及降低流动阻力损失提供一定的理论依据。拐角段流场复杂,存在流动不均匀性以及壁面附近产生流动分离等问题。本文主要目的在于系统地研究导流片数量、分布方式、厚度等因素对水洞拐角流场品质的影响。基于模拟结果拟合
自20世纪70年代以来,人们通过遥感观测不断对月球表面暗色环形撞击坑(Dark halo crater,DHC)或暗色溅射物(Dark Spot)进行研究。隐月海是被盆地或撞击坑溅射物覆盖的月海玄武