论文部分内容阅读
天体光谱蕴含着天体重要的物理信息,通过光谱的研究,人们可以测定天体的成分,确定天体的表面温度,光度,直径,质量等信息。因此,光谱分析在天体和物理学中占有重要地位。LAMOST望远镜建成以后,每个观测夜都将产生上万条光谱。如何处理这些海量光谱从而及时获得所需的科学信息成为一项重要的议题。数据挖掘技术正在众多领域中得到广泛的应用,它是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。运用数据挖掘技术可以实现相关性预测,分类,聚类,孤立点发现,时间序列分析等等功能,面对海量的光谱数据,数据挖掘技术正好可以为解决光谱数据的分类,参数测量等工作提供很好的支持。天文光谱数据具有海量及分布式存储等特点,其相关的处理需要分布式环境及数据挖掘算法的支持。本文主要研究分布式环境下天文光谱数据挖掘的并行和分布式挖掘算法。以分布式存储的光谱多属性数据集为基础,利用主从模式的并行程序模式,对光谱进行快速并可扩展性的分布式并行处理,并减少冗余计算及节点间的通信量,避免了不必要的网络负载和网络竞争的产生,解决并行分类算法性能的负载均衡问题,以期提高天文光谱处理的效率。结果表明,不仅有利于减少通信机进行I/O的开销,并能根据统计信息和网络状态、通信代价,考虑到任务均衡,合理分配任务,有利于提高算法的并行度和执行效率。本论文的主要工作包括:(1)建立分布式运行环境,搭建基于MPI的并行计算环境,进行分布式分类挖掘算法的研究。(2)提出考虑负载平衡的分布式并行挖掘系统,提出在分类算法任务分配时,根据网络负载和计算节点负载情况合理分配任务,达到并行挖掘效率的最大化。(3)按照数据挖掘的一般流程,对晚型星和类星体两类星体的的光谱数据进行特征提取,主要利用PCA方法进行降维处理,以适应分类需要。(4)研究SPRINT算法,将SPRINT算法并行化实现,并对并行SPRINT算法进行了改进,对降维后的光谱数据在分布式环境下进行分类处理。