论文部分内容阅读
2008年10月,我国的大天区面积多目标光纤光谱天文望远镜(LAMOST)落成典礼在河北兴隆观测基地举行,该望远镜于2011年10月开始进行先导观测,目的是检查设备的性能和评估巡天计划的可行性。2012年9月LAMOST正式进行观测,到次年6月,共计拍摄约4,149,500条目标光谱,其中包括先导巡天的1,338,750条光谱。2013年9月,LAMOST正式对外发布DR1数据,其中共计2,204,860 条光谱。LAMOST观测产生了大量光谱,我们注意到对外释放的达到质量要求的光谱数据,只占所有观测数据的70%。即使在这些已发布的数据中,也存在着质量较差的光谱。其中,拼接异常光谱是质量较差光谱的一种,本文主要研究拼接异常光谱的分析与处理,目的是在海量光谱数据中挖掘拼接异常光谱。本文的研究内容包括:(1)课题相关技术介绍。分为三个部分,第一部分介绍python以及基于python的天文数据处理技术,主要介绍python处理光谱数据时依赖的包以及其对光谱处理的便捷性。第二部分介绍高性能计算平台的架构和基本原理。第三部分介绍基于python的高性能计算平台的并行计算技术。(2)拼接异常光谱的识别和异常分级方法。这是本文的核心部分,主要介绍方法的原理,阈值的确定和自定义异常识别函数。本文根据大量的实验数据,提取光谱的数学统计特性,针对这些特性,确定了异常光谱的各项阈值,通过实验分析,提出了一个光谱异常分级的评价函数,通过该函数的评价得分将异常光谱分为三个等级,可以为光谱研究提供不同质量等级的光谱。(3)介绍高性能平台下拼接异常光谱识别的并行处理,并与单机环境下的运行效率进行比较。本部分研究串行化的异常光谱识别方法的并行化实现,以便在高性能计算平台运行,并介绍了我校高性能计算平台的使用方法。拼接异常是光谱在红蓝两端拼接区域表现出的光谱连续性差的一种现象。在LAMOST的光谱处理中,仪器的稳定性、观测条件以及获得的响应函数等问题都是造成拼接异常的原因。光谱拼接是否正常对于光谱发布等后续工作的质量有重要影响。本文提出一种拼接异常光谱的自动检测方法,有效地提高了工作效率。本文的研究可以为LAMOST数据提供一个自动的标记,来评价拼接质量,也可以为用户提供一个使用数据时的选择。本文中的方法首先将待测光谱进行流量归一化、去除钠线等预处理,并将其分为红蓝两端;然后对红蓝两端分别进行拟合;最后对两条拟合曲线,选取一系列等波长间隔的点,计算在这些点处的流量差值,得到所有流量差值的均值,标准差,并且计算两条曲线积分面积的差值;基于上述统计量,我们提出了一个判断光谱是否异常及其异常程度的评价函数。大量的实验证明,该方法可以将拼接异常光谱准确识别出来。同时本文研究了在高性能计算平台上拼接异常光谱的识别与异常分级方法,效率相比单机有了很大的提升。