下一代托卡马克实验数据分布式存储技术研究

来源 :华中科技大学 | 被引量 : 1次 | 上传用户:ntfan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
托卡马克是研究磁约束聚变的复杂大型实验装置,由众多不同的子系统组成。其实验过程中会产生大量实验数据,研究人员需要对这些数据进行分析,以实现理论验证和进一步的实验改进。随着托卡马克实验向长脉冲发展和数据采集技术日益提高,实验过程中产生的数据增长地越来越快。对于海量的实验数据,不仅要求数据存储与管理系统能够实现快速保存,还要能够给科研人员提供高效的数据查找与访问功能。本研究正是基于此背景,对J-TEXT数据存储与采集系统进行了改进,在MDSplus数据管理、备份、D-TACQ采集等方面进行了新的设计与优化,并研发出了针对未来长脉冲实验海量数据的J-TEXT云存储数据库(J-TEXT Cloud Database,以下简称JCDB)。  本研究首先设计并开发了MDSplus数据管理系统,针对MDSPlus管理功能过于简单的问题,实现了数据的批量管理,并提供高效的查询手段。该系统通过MDSplus与SQL Server的结合使用,能够把MDSplus的所有元数据直接导入到SQL Server中。在此基础上,开发了JTEXT-Traverser软件,使数据以图形可视化的方式呈现,便于用户处理,并能将处理结果同步到MDSplus和SQL Server中。除此之外,在网络改造的基础上,利用Rsync开源软件实现了数据的增量备份,克服了原有以磁带机为基础的备份系统容量小,备份、恢复时间长的缺点。同时,实验过程中发现D-TACQ采集设备在复杂实验环境中数据容易上传失败。为了改善这一状况开发了D-TACQ运行支撑软件,实现了对J-TEXT所有D-TACQ的状态监控、数据检测、发现问题、自动重传的一套功能,提高了采集卡的可用性。  对于未来长脉冲聚变实验中存储系统面临的持续海量数据写入的挑战,本研究创新的采用分布式集群数据库技术进行应对。本文深入研究了现代分布式文件系统以及分布式数据库技术,设计了针对大型科学实验装置的数据存储管理系统JCDB。提出了数据分离成元数据和科学数据的思路,并率先给出了基于MongoDB的元数据管理方案,此方案是ITERDB计划采用技术的实际应用实现。通过数据模型、接口、插件等设计,实现了元数据的高效管理、访问,使系统可以灵活、模块化的添加和删除功能。针对科学数据,本研究设计了相应的存储引擎,通过迭代改进的方法,对存储引擎进行不断优化,最终给出了基于索引的CassandraIndex模型。它在4节点集群测试中,读写性能分别达到了337MB/s和280MB/s,并通过与GlusterFS和MDSplus对比,验证了基于NoSQL数据库存储引擎的巨大潜力,和为长脉冲聚变实验提供存储管理服务的可能性,为CFETR的存储管理设计提供参考。最后针对集群部署困难的问题,给出了集群的自动化部署方案,实现了MongoDB集群和Cassandra集群的自动化部署。
其他文献
循环流化床锅炉是由多参数、非线性、时变及多变量紧密藕合的复杂系统,尽管在世界各国循环流化床锅炉得到迅速的发展,但循环流化床锅炉在理论和实践方面仍有许多不完善之处。大
备好课是上好课的先决条件。随着教学改革的不断深入,“单兵作战”的备课方式逐步被集体备课方式所替代,集体备课方式在高中英语教学中具有重要的作用,是提高教学质量的重要保证
作为通用工业控制计算机,可编程序控制器其功能实现了从逻辑控制到数字控制的进步,它的应用领域覆盖了单一设备的简单控制,正成为工业控制的主流控制设备,对世界发展作出了巨
风的间歇取决于天气和环境的变化,并能迅速或缓慢发生。这些变化影响发电机的频率和输出的电能质量,所以离网型风力发电系统需要电力电子转换器及其控制装置。  风力发电系统
客家文化和会馆建筑群rn洛带镇隶属龙泉驿区,其场镇俗称“镇子场”,又称“甑子场”,确切始建年代无考,说法有二:一为古蜀国皇家后花园,二为蜀汉英雄诸葛亮在此兴市而成.洛带
期刊
从词典到志书历史中的龙泉驿rn从南北朝诗人陆凯的“折花逢驿使,寄与陇头人”,到唐代诗人杜甫的“江阁嫌津柳,风帆数驿亭”,再到南宋诗人陆游的“驿外断桥边,寂寞开无主”,我
期刊
混凝土结构由于长时间处于不良环境下而使得钢筋产生锈蚀、混凝土发生劣化,无法避免地会使得结构构件强度的降低、损伤的累积和抗力衰减等;或由于建筑用途发生变化需要提高原
被誉为“中国廊桥之乡”的浙江泰顺,境内保存有30余座唐、宋、明、清四代的古廊桥.泰顺廊桥建造工艺之独特,桥梁造型之精巧,为世界桥梁史添上了浓墨重彩的一笔.因此,有人将其
期刊
成都国际桃花节一首诗瞥见的奇观rn桃的故乡在中国:时间以中国为圆心,以桃核为半径,不停地做着画圆运动,直到把桃一圈一圈地画得满世界都是.从殷墟遗址中发现桃核的事实来看,
期刊
前言rn人类从远古走到现在,一路跌跌撞撞,一路披荆斩棘,一路困惑迷惘.我们已走得太久太远,前进的路上,我们迷失了方向.一路上,有重重迷雾,阻挡着我们回溯的视线,来时的路总是
期刊