天文异常现象的在线检测与离线挖掘系统设计与实现

来源 :山东大学 | 被引量 : 0次 | 上传用户:wwzly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
天文观测科学研究是国家重点发展战略,展示大国自然科学研究水平。很多国家投入优势资源开发了著名的天文观测系统,如美国的大型综合巡天望远镜(Large Synoptic Survey Telescope,LSST)系统、中国的地面广角相机阵(Ground Wide Angle Camera,GWAC)系统。同时,与之配套的天文大数据管理系统也越发重要,它们为天文观测系统产生的海量数据提供了数据管理和检索功能,为科学发现和天文爱好者提供数据共享的平台,如美国的斯隆数据库为斯隆数字巡天(Sloan Digital Sky Survey,SDSS)系统提供海量天文数据的管理服务。我国国家天文台自主研发的GWAC系统是目标发现短时标异常天文现象的光学望远镜阵列。GWAC天文系统由40台小口径巡天望远镜相机矩阵组成,相比其它巡天项目覆盖更大的观测视场,具有更高的时间采样率。建立GWAC对应的数据处理系统,既要在镜头采样区间内实现快速的天文异常检测,也要满足长期存储数据的可利用需求。基于十三五国家重点研发计划项目背景,面向GWAC系统的数据处理需求,研发了一套具有实时天文异常现象检测和长期数据管理与数据挖掘功能的天文大数据处理软件,支持流式检测与批处理相结合、多种异常检测算法共存。系统按照GWAC相机矩阵数据处理工作流,主要提供的功能包括:第一,在线天文异常检测,对接观测相机阵,监测实时产生的天文数据,实现针对短时标天文异常现象准确、快速的预警;第二,离线天文异常挖掘,建立历史数据仓库实现长期天文数据的保存,同时深入挖掘时间跨度更大、种类更广泛的天文异常;第三,全天区天球的数据可视化,提供天文学家适用的系统界面,动态展示实时异常星体及其光变亮度值曲线;第四,天文现象检索,提供多数据源的高速搜索引擎,支持用户的典型天文查询和批处理访问;第五,历史数据管理,建立部分天文数据的共享平台,允许天文爱好者下载查看已公开的科学数据。根据GWAC系统数据“快速实时分析+大数据管理”的处理需求,系统采用主从的分布式模型,基于四十个物理节点部署在线和离线并行的双层架构。在线部分基于内存数据库搭建,主要用于实时天文数据的异常现象监控,针对小部分数据执行轻量级的分析任务;离线部分选用NoSQL型数据库,主要用于大规模长期数据的持久化存储和深度异常挖掘,利用系统低强度运行时间处理复杂计算。目前,系统已经正式应用于国家天文台兴隆观测站的GWAC系统,实现了快速天文异常检测和有效的长期数据管理,单批数据的在线异常检测时延低于4秒,数据存储总量达10PB,每天处理天文观测数据10TB以上。在试运行阶段,系统从真实巡天数据中发现了约30个分钟量级的短时标天体耀发事件,预警效果得到了天文学家的可信度认证。同时,系统提供全天区天球数据可视化平台,支持自定义时空范围的天文数据特征展示,具备复合检索条件的典型天文查询功能。应用表明,系统及其方法具有有效性,为进一步的大规模天文学发现提供了有力支持。
其他文献
全球气候变化背景下河口海岸地区风、浪特征与趋势变化是一个具有重要应用背景的科学问题。气候变化是海洋与大气科学研究的重点之一,海表面风速以及包括有效波高等在内的各种海浪要素对气候变化都具有重要的影响与反映,其与发生在海气界面和海洋上混合层的能量交换存在密切的关系。已有的风、浪变化研究既有着眼于全球的分布变化,也有着眼于中国近海局地变化。长江口地处东海之滨,受季风和台风影响,波浪作用强烈。作为河口海岸
随着我国基础设施建设不断加强以及城镇化进程的加快,非道路移动机械用柴油机使用数量不断增加。相对于道路用柴油机而言,非道路移动机械用柴油机排放指标相对落后,由此带来的污染物排放影响巨大。因此针对非道路移动机械用柴油机的污染防治和减排工作亟待展开。本文针对一款R4105ZD非道路移动机械用柴油机燃烧系统进行了优化研究。原机采用电控单体泵燃油系统,台架测试结果表明:在不加装后处理系统时,排放结果可满足第
受人类活动影响,全球气候变化巨大,洪涝、干旱、海平面上升等问题严重威胁到人类未来的发展。许多气象灾害的发生都与水有着密切联系,而地下水作为陆地水资源的重要组成部分,其水量和水质的变化会对人们生产、生活产生显著影响,调查地下水储量可以提高人们对于区域地下水现状以及相关影响因素的认识,及时采取措施引导地下水的使用往可持续方向发展。常规的地下水储量数据获取方式具有成本高、局限多、不直观等缺点,重力恢复与
黄海是我国重要的高生产力陆架浅海,沿海经济发展迅速,受人类活动影响严重。近岸海域营养物质的研究不仅是海洋生物健康发展的基础,同时也为减轻水环境压力,制定生态管理与环境保护策略提供必要信息。近年来,频繁的人类活动致使海洋环境问题逐渐突出,富营养化频繁发生。随着人为添加N、P营养盐的富集,以及众多筑坝等水利设施建设,边缘海Si正逐渐成为生物限制性营养物质,以Si为必需营养盐的硅藻等浮游植物在种群竞争中
突扩结构在能源动力、化工、环保等领域有着广泛的应用,随着我国大部分陆上油田已进入开发中后期,注水开发使得地面集输系统和长距离管网中油水两相流普遍存在。由此,探究突扩管内两相流流动特性的问题对于合理选择油品输送方式、泵送效率等倍受重视,两相流流经突扩管以后的流动稳定性以及压降变化也十分关键。本文基于流体力学基本原理和流体运动基本控制方程,结合相关的油水两相流理论知识,运用CFD软件FLUENT对油-
振荡浮子式波能装置由于结构简单、制造维护成本低、效率较高等优点,是目前国内外波浪能研发的热点。本课题的浮体链轮波能装置隶属振荡浮子式波能装置,具有极端环境下生存能力强、波能采集成本低的优势,且具有单程波能采集特征。现有振荡浮子式波能装置水动力性能的计算方法,都是针对具有双程采集特征的波能装置,难以满足浮体链轮波能装置的特征要求。为此,本文针对具有单程波能采集特征的浮体链轮波能装置的水动力性能进行了
M亚矮星是一类低质量、低光度的贫金属性的恒星,被认为是银河系中的古老群体。M亚矮星的研究对于探索银河系的演化和组成至关重要。然而由于M亚矮星和M矮星有着相似的光谱形态,使得二者往往混淆在一起。近年来随着机器学习的发展,为M矮星和M亚矮星的分类提供了许多新的方法。本文重点采用基于决策树的集成学习算法构建了M矮星和M亚矮星的分类模型。集成学习不仅能产生最终的预测结果,还能有效评估区分二者的特征。另外实
近年来,石墨烯作为最热门的材料,在储能、场发射以及传感器等领域得到了广泛的应用。石墨烯量子点(GQDs)作为其中的一员,不仅继承了石墨烯化学性质稳定、电导率低以及制备方法
野菊(Chrysanthemum indicum)广泛分布于中国的东北、华北、华中、华南以及西南各地区,叶片呈现羽状半裂或者浅裂,具有黄色的舌状花。毛华菊(Chrysanthemum vestitum)主要原产于中国的湖北省、河南省及安徽省。根据形态学特征和地理分布,毛华菊可以分为两个变种:狭叶毛华菊(Chrysanthemum vestitum var.vestitum)和阔叶毛华菊(Chrys
能源始终是人类生存和社会发展必不可少的重要因素,但是大量的能源消耗所引起的环境问题也日益凸显出来,因此用新能源、可再生能源等代替目前大量使用的以煤炭为主的化石能源是能源结构转型的方向。以太阳能、风能为主的可再生能源在供需之间往往存在着时间或空间上的不匹配问题,同时无论是化石能源还是可再生能源最终基本都以电能的形式被利用,而电力系统又存在着严重的负荷峰谷差。储能技术可以很好的解决能源供需不平衡的问题