SKA区域数据中心的数据存储及成像处理研究

来源 :东华大学 | 被引量 : 1次 | 上传用户:my_wenzi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
国际天文合作项目平方公里阵(SKA)经过多年的论证和预研,预计将于2019年正式开始分两个阶段进行建设。这个大型的天文望远镜项目将带来史无前例的大数据,世界各国各领域的研究人员从材料、机械、网络、电子、能源等各方面开展了针对性的研究。无论在哪个领域,有关该项目的研究都是最前沿的。SKA由几千乃至上百万个两种类型的天线组成,仅在第一阶段,每秒产生的数据量就将达到近百TB,因此有必要在望远镜站址所在国之外建设区域数据中心,为区域内科学家提供数据处理分析和数据存储需求,国内天文界正积极推动筹建SKA亚太区域数据中心。本文以此为背景,针对SKA区域数据中心将面临的大数据存储和处理问题进行研究,为区域数据中心的关键技术提供切实的解决方案,研究成果具有很好的应用前景。本文针对如何创建满足项目需求的区域数据中心,提出了相应的建设天文云数据中心的方案,就其中数据分布式读写和数据分布式处理分别展开具体的研究,并对方案予以实现,最后进行了测试和分析。本文的主要工作包括:1)给出SKA区域数据中心云平台架构的设计方案:对于SKA的计算规模,将高性能计算和云计算结合是发展的趋势,本文从云计算角度出发,提出建设天文云数据中心,并给出具体架构设计。2)研究SKA区域数据中心的数据分布式读写:相比日益增长的天文观测数据,天文数据分析处理软件的发展比较落后,以目前通用的CASA软件为例,其底层对于数据的读写操作是串行的,这显然无法满足大量数据的读写要求。本文通过改写其内部专门进行数据存储管理的数据表存储管理器,结合分布式文件系统,提出了一种对数据进行分布式读写的方法。3)研究SKA区域数据中心的天文数据分布式处理:射电天文数据分析处理过程繁杂,本文以其中最耗时的成图部分为例,进行云数据中心中的分布式处理研究。4)搭建云实验环境:利用Open Stack搭建了一个云实验环境作为区域数据中心的模型,并用实际观测数据进行测试分析。测试过程共进行了两种处理流程、三种数据拆分方式的交叉组合,最后给出了测试结果展示。经过详细地测试和分析,本文可以得出如下结论:1)在大数据量的情况下,本文提出的数据分布式读写方法相比传统方法对数据读写性能有显著提升。2)在云数据中心上以分布式方式进行天文数据处理的方法是可行的,通过选择合适的数据拆分粒度,可以有效提高整个数据的处理效率。
其他文献
辽河油田锦16区块采用聚/表二元复合驱进行原油开采,依托欢三联合站进行原油脱水处理。目前该区块采出液综合含水率90%,乳化程度严重,使得欢三联站内脱水设备运行效率降低;此
自混沌学兴起,经典混沌系统因其代表性与特殊性一直都是研究的热点,如Chua电路、Lorenz系统、Chen系统、Lü系统、BLDCM系统等。针对此类经典混沌系统或者其变形系统,已给出
近年来,随着电流体动力学的发展,电射流打印技术以其打印高精度、高效率、低功耗等优点在微电子制造、封装、新能源技术等领域拥有广泛的应用。正由于此项技术巨大的应用潜力
相图是材料结构-成分-热学条件的关联图,完整的相图包含了系统性的成分空间,具体的物相鉴定信息,完备的热力学条件以及全部的相边界曲面。传统的材料相图研究是一次实验研究
本文讨论了具尺度结构和加权总规模的种群系统(P):的最优边界控制问题.其中Q(28)(0,m)′(0,T),固定常数m和T分别是为种群个体的最大尺度和控制周期.状态变量p(s,t)表示t时刻
含能材料数值模拟是研究含能材料力学行为的一种重要手段,采用物质点法在细观尺度下研究含能材料力学行为不仅可以节省实验过程中人力物力成本,避免实验的危险性,同时也为含
矩阵不等式是矩阵理论研究的一个重要方面,广泛出现于基础数学,应用数学和计算科学的各个方面.例如泛函分析里算子不等式,图的谱理论,数值代数的扰动分析,还有在控制理论的稳
论文研究区块垦利10-1油田位于莱州湾凹陷北洼,研究区构造复杂,断层发育,油田处于开发早期阶段。论文综合应用地质、测井和三维地震资料,开展垦利10-1油田主力开发层系沙三段
聚醚砜(PES)是一种综合性能优良的聚合物膜材料,具有较高的拉伸强度和优良的化学稳定性,常作为超滤、纳滤膜的材料。羟基磷灰石(HAP)因独特的化学组成和晶体结构,使其具有良
在非正则双场暴涨模型中,可以使用一个参数ζ描述其与正则模型的区别之处,我们发现这个参数总是只有慢滚参数的二分之一阶,本文把原初扰动功率谱的解析形式推广了到ζ2项,然