空间科学大数据存储模型SP-HDF及应用研究

被引量 : 0次 | 上传用户:Jason51090
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
空间科学是研究发生在日地空间、行星际空间及至整个宇宙空间的物理、天文、化学及生命等自然现象及其规律的科学。空间科学观测和研究过程中将产生数量巨大、种类繁多、数据结构复杂、计算密集型的科学数据,有效地存储、管理、共享这些科学数据已经成为空间科学应用研究迫切需要解决的一个重要问题。本文充分分析了海量空间科学数据的特征,深入研究了HDF(Hierarchy Data Format)、CDF(Common DataForm)等新的存储技术。在此基础上,提出一种新的空间科学大数据自描述存储模型SP-HDF(Space-HDF)。考虑到目前标准化和非标准化数据并存的情况,作者提出了一种基于元数据描述的虚拟观测站点共享服务模型。本文的研究成果及创新点包括:(1)提出一种针对空间科学大数据存储管理和集成共享的自描述存储模型SP-HDF。针对空间天气和子午工程空间科学数据的特点和逻辑结构,设计了相应的逻辑存储结构,在此基础上,为用户设计了简单、易用、友好的数据访问接口。SP-HDF存储模型的优势在于屏蔽了用户直接访问底层HDF和CDF文件的细节,因而降低了数据访问的复杂性。另一方面逻辑存储结构直接面向领域应用,提升了数据访问粒度和数据抽象级别,在实际应用中更加易于理解。(2)针对目前大量空间科学数据在短期内无法完全标准化的现状,提出一种基于虚拟观测站点的共享服务模型。该模型通过共享服务元数据模型和抽象数据服务接口,实现多元、异构科学数据的集成和共享服务。(3)设计并研发了一个基于SP-HDF存储模型的空间天气科学数据逻辑结构及各种大数据服务接口的原型系统。通过对核心数据接口的访问,原型系统实现了与数值模拟、可视化等多个系统的集成应用。验证了基于虚拟观测站点的共享服务模型的子午工程数据服务接口原型,实现了数据检索、数据下载、数据可视化等多个功能。(4)设计并实现了基于XML半形式化描述和数据处理模板技术的子午工程科学数据标准化处理模型,解决了多元、异构、海量空间科学数据的高效处理和灵活定制的困难问题。
其他文献
在幼儿园里孩子最喜欢玩的就是区角活动,但语言角孩子们都不太愿意进去玩,因为孩子们认为不好玩。因为枯燥的识字游戏和翻看多遍的图书让他们觉得毫无新意。幼儿的各种能力是
全面推进素质教育,切实强化师德师风建设是现代小学教育的中心环节。加强教师师德师风的建设有利于更好的发展我国农村义务教育事业,在保证基础教育的前提下,加快了农村人才
提出一种新型的双极化微带贴片单元与其阵列设计,该单元采用一对相互垂直的“H”形缝隙作口径耦合馈电,获得了良好的端口隔离度(在工作频带8.8~9.8 GHz内实测值大于42 dB).该
教育是百年大计,它关系到国家的富强和民族的兴亡。从根本上来说教育对一个国家和民族来说都是“树根”工程,尽管改革开放以来我国的教育事业在改革取得了显著的发展成就,但
目的评价通窍活血汤加味在脑出血急性期中的应用价值以及对神经功能的影响。方法研究选择我院收治的脑出血急性期患者50例,患者均于2016年1月份到2016年12月份入院治疗。随机
目的:研究联合乌拉地尔治疗慢性肺心病心力衰竭的临床效果。方法:选择近期于本院救治的肺心病心衰患者122例,据患者情况将患者分成两组,两组均给予常规疗法,观察组61例在此联
随着城市建设的快速发展,相应配套的园林绿化工程建设体量也越来越大,随着人们对环境建设的要求不断提高,园林绿化事业得到了各级政府和企事业单位的高度重视,因此,为了使园
冻融循环导致黄土强度的损伤规律十分复杂,传统单一因素评价方法难以确定冻融过程黄土抗剪强度指标损伤规律与多因素之间的量化统计关系。基于此,首先针对西安Q3重塑黄土进行
我国有着庞大的潜在航空市场,中国人口已然超过13亿人口。2011年,全民航行业完成旅客运输量29317万人次,年人均乘机仅0.23次,而美国和欧洲人均乘机次数为2~3次。[39]这也就意味着
1908年美国福特公司大批量生产Motel T,世界第二次工业革命开始了;一个多世纪后的今天,美国以3D打印与融合了互联网和机器人的技术引领了世界第三次工业革命。近些年来美国不