ONSET数据流水线

来源 :天文研究与技术-国家天文台台刊 | 被引量 : 0次 | 上传用户:shiyiyiyiyi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着天文大科学设备的投入使用,传统的开发模式面临程序重复开发,环境依赖冲突等问题.另外,集群是一个高度耦合的计算资源,严重的环境冲突可能导致整个集群不可用.为了解决这个问题,采用微服务的概念开发新的流水线框架,这种框架可以实现短期内开发和部署新的流水线.介绍了通过这种框架开发的ONSET数据流水线,为了实现准实时数据处理,采用MPI和GPU技术对核心程序做了优化,并对最后的性能做了评估.结果表明,这种开发模式可以在短期内搭建满足需求的流水线,这种开发模式对未来多波段多终端的天文数据处理有借鉴意义.“,”With the advent of large astronomical equipments, the traditional development model for data reduction faces problems such as redundancy of programs and conflicting environmental dependencies;Besides as a cluster is a highly coupled computing resource, serious environmental conflicts can lead to the unavailability of the entire cluster. To address this problem, we have developed a new pipeline framework using the concept of microservices. This paper presents the ONSET ( Optical and Near-infrared Solar Eruption Tracer ) data pipeline developed through this framework. To achieve near real-time data processing, we optimize the core program using MPI and GPU technologies and evaluate the final performance. The results show that this development model can be built in a short time to meet the requirements of the pipeline, and we believe that this development model has implications for future multi-band and multi-terminal astronomical data processing.
其他文献
有机硅化合物的重要性日益受到关注,尤其是官能化硅烷或有机硅材料兼备了无机材料与有机材料的性能,在功能新材料的制备和含硅候选药物的合成等领域具有十分广阔的应用前景[1-3].其中,硅基联烯因具有独特的结构和多样的反应性,是有机合成和药物化学中的多功能合成子,常用于合成具有价值和潜在价值的化合物[4,5].1,3-烯炔的1,4-氢化硅烷化可能是催化合成硅基联烯的最直接策略.然而,1,3-烯炔同时存在烯烃和炔烃活性官能团,其硅氢化过程面临着区域选择性难以控制的挑战.因为该反应过程存在三种主要的竞争途径,即1,2
脉冲星周期跃变是一种罕见的现象,是研究其内部结构的探针.针对2019年2月~12月国家授时中心昊平观测站40 m射电望远镜在脉冲星计时观测中监测Crab脉冲星的数据,采用脉冲星计时方法,用TEMPO2拟合程序进行分析.结果表明,Crab脉冲星在2019年7月23日(MJD 58687)附近发生了一次周期跃变现象,该跃变自转增量为Δvg=5.33(4)×10-7Hz,自转变化量为Δvg/v=17.9(1)×10-9,并伴随着恢复系数Q~0.88的指数恢复过程.此次Crab脉冲星周期跃变的监测及处理,证实了4
采用含有频率涨落噪声和指数形式关联随机力作用的广义朗之万(Langevin)方程模型描述黑洞吸积盘的垂向振荡,推导出吸积盘随机振荡光度功率谱密度的解析表达式,并讨论了系统参数对功率谱密度中低频准周期振荡(Low Frequency Quasi-Periodic Oscillations,LFQPOs)现象的影响.研究结果发现:选取合适的系统参数时,功率谱密度曲线上出现了一个基频和一个二次谐频的共振双峰低频准周期振荡,基频峰对应的中心频率为吸积盘振荡的特征频率;随机力关联时间决定了基频峰的高度和宽度,频率噪
有机硼化合物在有机合成、催化、药物发现及材料科学等众多领域中都有着广泛的应用[1].特别是近年来,材料化学家们发现有机硼化合物还可以作为共轭材料、共价有机框架和水凝胶的非常理想的组分或者前体[2].有机硼酸及其衍生物是有机硼化合物的重要组成部分,它们被广泛应用于过渡金属催化的交叉偶联反应中.此外,有机硼酸可以方便地转化为几乎所有的官能团.经修饰后的硼酸基团还能催化对映选择性Diels-Alder反应以及二醇和糖类化合物的选择性活化等[3].在生物医药应用方面,有机硼酸可以作为治疗剂和生物探针.例如,硼替佐
简单烷烃作为石油和天然气的主要成分,广泛存在于自然界中.但由于烷烃碳氢活化过程中本身的化学惰性和难以控制的化学选择性,对烷烃的利用仍以燃烧供能为主,如何将此类丰富的有机碳源直接作为合成子进行高原子利用率及高附加值转化,是一个亟待解决的科学问题.有机光化学合成作为一种条件温和、环境友好且可持续性的合成策略,受到了化学工作者的广泛关注.其中,光诱导氢原子转移(HAT)过程为碳氢活化领域提供了一类温和、高效、可行的合成方案,与传统热反应相比,光反应过程大大避免了能源浪费与环境污染问题.近年来,光诱导碳氢活化领域
提出了一种基于块重构的加密域可逆信息隐藏方法.首先使用一种特定的加密方法对原始图像块进行加密,其中包括置乱和块重构,该方法能够有效地将冗余从最高有效位转移到最低有效位;其次将位平面划分为不重叠的均匀块和非均匀块,通过标签图对这两种类型的图像块进行区分及记录;最后在可嵌入信息的均匀块中嵌入相关辅助数据,并将秘密信息嵌入到剩余的可用块中.基于加密密钥和数据隐藏密钥的可用性,接收端能够可分离地实现准确提取所嵌入的数据以及无损地恢复原始图像.实验结果表明,该方法在一定程度上提高了信息嵌入量和直接解密图像的解密质量
快速傅里叶变换(Fast Fourier Transform,FFT)比傅里叶变换有更好的算法性能,是射电干涉成像的基础算法,但因为天线阵列的不规则采样,需使用网格化算法将可见度数据重采样到规则的网格上才能应用.基于卷积的网格化计算具有密集型和迭代型的特点,特别是处理海量可见度数据的情况下,高性能的网格化计算对整个成像过程加速尤为重要.为了缓解数据处理的压力,在现有处理整块数据和支持多核计算的算法基础上,拓展应用Dask并行计算框架,不仅将数据分块并分配到多线程上,提高数值计算效率,而且动态的分布式任务调
使用快速鲁棒性主成分分析(Fast Robust Principal Component Analysis,Fast RPCA)方法对日冕序列图像中的日冕喷流活动进行检测.检测的基本思路是利用快速鲁棒性主成分分析方法中低秩和稀疏分解的思想与日冕序列图像中有着变化尺度稍小且占比较大的随机变化背景成分、变化尺度较大且占比较小的日冕喷流的特点相结合,实现随机复杂多变的动态背景和稀疏运动目标之间的分离,从而检出作为前景变化的日冕喷流.采用太阳动力学天文台(Solar Dynamics Observatory,SD
地基雷达观测可以提供太阳系天体目标的地形地貌、物理特征、轨道动力等信息.聚焦利用地基雷达天文技术开展月球观测的原理方法和科学意义,介绍了基于我国现有深空雷达上行装置、射电望远镜条件以及非相干散射雷达等系统,初步开展的特高频段(Ultra High Frequency,UHF)和X频段的地基雷达观测月球试验.通过月球反射回波的信号处理,获得了延迟、多普勒频移等参数,得到了一致的与近表层物质密度相关的月面雷达反射率,并得到了月球的左右旋圆极化率,反映了与波长同尺度的月球近表层结构.文章积累的数据处理经验将为我
太阳暗条作为太阳大气磁场的示踪,对研究太阳磁场有极其重要的意义.针对现有的暗条检测方法存在检测精度不高,弱小暗条错检、漏检等问题,提出一种基于改进VNet网络的太阳暗条检测方法.首先,使用大熊湖天文台Hα全日面图像并结合磁图制作了太阳暗条数据集;其次,在VNet网络下采样部分采用Inception模块融合不同尺度特征图的特征,同时加入注意力机制增强特征图中暗条部分的语义信息;最后在上采样部分引入深度监督模块,更多地保留太阳暗条的细节特征.为验证算法性能,采用191幅Hα全日面图像数据集,其中包含暗条共33