【摘 要】
:
随着各种大型高精度观测设备和先进探测仪器的建成和使用,天文观测数据出现了爆发性增长。天文元数据归档系统通过管理元数据的方式来实现对天文观测数据进行归档,使得上层用
论文部分内容阅读
随着各种大型高精度观测设备和先进探测仪器的建成和使用,天文观测数据出现了爆发性增长。天文元数据归档系统通过管理元数据的方式来实现对天文观测数据进行归档,使得上层用户可以通过检索特定元数据信息来快速定位所需天文观测数据集。但是当前天文元数据归档系统所采用的离线或周期性归档方式存在实时性不足的问题,同时数据查询响应较慢,难以满足实时数据查询的应用需求。针对上述问题,文中采用分布式流式数据处理架构和图数据库等技术设计和实现了一个实时天文元数据归档系统。针对元数据归档实时性不足的问题,通过元数据采集模块和元数据处理模块的设计来达到元数据实时处理的目的,同时设计了元数据存储模块来改进数据检索响应时间较长的问题。本文首先分析了天文元数据的数据特征,设计了基于实时监控数据源方式来获取数据源数据动态信息的方法,并结合Apache Flume等技术实现了元数据采集模块的实时元数据采集功能。而后针对天文元数据实时处理的需求,采用基于分布式流式数据处理架构来进行元数据处理模块的开发,设计了Storm Topology数据处理拓扑,将天文元数据以流的形式进行运算,实现了天文元数据的实时处理。最后针对实时数据查询的需求,结合天文元数据的数据特征,分析了现有天文元数据存储方案的局限性。同时结合了Neo4j图数据库点边存储技术,设计基于时空维度的天文元数据存储模型,实现了对多源、异构、海量天文元数据的存储。系统功能和性能测试实验结果表明,论文设计的实时天文元数据归档系统能够实现实时数据处理,并能存储多源、异构、海量的天文元数据实现实时数据查询,同时系统的稳定性、并发性均达到设计目标,对上层进一步的天文学研究有重大的意义。
其他文献
全黏结锚杆是沿锚杆全长都需要注浆的锚杆,锚杆中不设置自由段,这类锚杆的长度较短,减少了锚杆的施工对地下空间的污染,且整体受力性能好,滑裂面内全黏结锚杆的加筋与遮拦作
高强高性能混凝土多采用低水胶比配制,在低水胶比的情况下,掺有粉煤灰等掺合料水泥浆体强度的变化规律的研究还不完善。本文旨在探索低水胶比水泥浆体强度变化的一般规律,为
有机太阳能电池(OSCs)因其柔性、质量轻、半透明、低成本的独特优势而在近些年备受研究人员关注,作为光电转换的主要发生场所,活性层材料的不断更新一直是OSCs能量转换效率(P
断层破碎带可能会显著影响地下流体的运移和非常规油气资源的开发。断层破碎带的大多数分析研究都基于直接的野外观测,我们利用三维地震属性包括相干、方差体、倾角方位角以
小学语文是学生的必学课程,语文学科是学生课程中的基础性学科,对于学生的学习具有重要影响,社会发展十分迅速,社会也更加需要更高素质的人才,过去的语文教学已经不适应现在,
随着我国智能电网的全面建设和“一带一路”战略的深入推进,越来越多的智能电表将会安装运行于容易发生产品失效的湿热地区。研究如何对湿热地区智能电表的可靠性进行准确评
本文从自动飞行控制系统角度提出一种新型的推力管理架构,以自动飞行控制系统作为推力管理实现的核心,在FMS(飞行管理系统)、FADEC(全权限数字发动机控制)和TCQ(油门台)的
随着生态环境的恶化,我国盐碱地面积日益增多,培育耐盐水稻是克服土壤盐碱化的有效途径。海稻86是湛江特有的耐盐碱特异种质资源,具有很高的科学研究和利用价值,但对其光温反
高性能永磁同步电机(PMSM)伺服驱动器的一个重要指标是电流的高动态响应。通常电流控制器在连续域上设计,然后离散化形成数字控制算法,受数字控制延时的影响,常造成电流环解
能源是国家稳定与发展的基石,也是国际上的紧缺资源。自建国以来,中国就面临着能源短缺的难题,尤其是进入21世纪以来,随着中国经济的迅猛发展,对能源的需求量也在不断攀升。考虑到中国同时期的科技也举得了举世瞩目的成就,技术进步对经济发展发挥着越来越重要的作用。那么,技术进步与中国的能源总量攀升是否存在一定的关系呢?技术进步是否会导致能源回弹效应呢,如果会的话那么能源回弹效应值又会有多大呢,中国是否也存在