基于SciCat的HLS-Ⅱ实验数据管理系统

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:chunling329
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
合肥光源(Hefei Light Source,HLS-Ⅱ)作为面向国内外用户的大科学装置,其科学产出与用户的实验效率和数据处理效率密切相关。目前,HLS-Ⅱ现有的用户服务系统仅仅涉及用户认证、课题申请、专家审批、机时分配等实验流程,而在海量实验数据的管理上,还存在着数据资源分散存储、缺乏数据处理环境、无方便有效的交流共享途径等问题。在调研了国内外大科学装置实验数据管理平台建设现状的基础上,设计并开发了基于开源元数据目录框架SciCat的HLS-Ⅱ实验数据管理系统。通过实验流程及实验数据全生命周期统一管理,以有效提高用户的实验效率与数据处理效率,进而充分发挥HLS-Ⅱ的科学效益。基于SciCat的HLS-Ⅱ实验数据管理系统由数据采集服务、元数据系统、文件存储系统、数据处理平台构成。其中,数据采集服务针对不同实验站的具体情况进行定制开发。作为HLS-Ⅱ实验数据管理系统的核心组件,元数据系统在开源元数据目录框架SciCat的规范下开展设计和开发。在元数据系统中,扩展了元数据的条目,开发了基于消息队列Kafka实现的元数据摄入服务,并且接入了现有的用户服务系统。在文件存储系统中,采用HDF5作为实验数据存储的标准文件格式,通过MD5算法进行数据完整性校验,以及提供了远程文件下载服务。在数据处理方面,针对不同的实验数据处理场景开发了基于Web的交互式数据分析平台和基于OpenWhisk的数据预处理平台。该系统已在HLS-Ⅱ的软X射线成像实验站和软X射线磁性圆二色实验站进行部署和测试。测试结果表明,系统的各项功能均达到了预期的设计目标,并且系统的负载性能与安全性能也满足了实际需求。该系统结合现有的用户服务系统,能够实现涵盖用户认证、课题申请、专家审批、机时分配,以及数据采集、数据存储、数据处理、数据发布等实验流程及实验数据全生命周期的统一管理。
其他文献
烯基硼化合物在有机合成中是一类重要的合成子,被广泛应用于各种交叉偶联反应。自上个世纪以来,科学家们就致力于开发各种构建烯基硼化合物的方法。其中,炔烃硼氢化或硼质子化反应是制备烯基硼化合物最直接、有效的方法之一,特别是过渡金属催化炔烃的硼氢化或硼质子化反应能够有效地控制反应的区域和立体选择性,因此铑、钯、钌、铱、钴和铜等过渡金属催化剂已经被用于硼氢化或硼质子化反应中。与其他贵金属催化剂相比,铜催化剂
学位
中式卷烟品牌中蕴含着较多中国传统文化元素,同时又结合了现当代的优秀设计理念风格。这不仅可以最大程度的满足卷烟消费者的消费需求,给消费者带来良好的视觉盛宴,更能彰显中华民族的优秀传统文化。但从当前的市场调研结果上看,市面上在销的卷烟品牌往往在包装设计时,过于注重设计工艺,而忽视了实际的品牌内涵,品牌设计往往缺乏创新的因素。随着中国在世界上地位的逐渐提升,中国文化也得到了世界各国的认同,基于“云文化”
学位
教育游戏作为有具体应用目的的严肃游戏的一个分支,已经成为辅助儿童教育的重要手段,它以“寓教于乐,以乐促学”的设计理念丰富了教学途径、创新了授课方式、激发了学习兴趣,从而受到越来越多企业、学校、老师与家长的关注,并且广泛用于儿童的能力锻炼和知识探索中,具有极高的实际应用价值。但是目前儿童教育游戏普遍存在定位不明确、内容同质化、设计较粗糙等问题。因此,在智能化时代背景下,如何运用全新的数字技术手段开发
学位
当前,我国已经顺利完成脱贫攻坚工作,正在紧锣密鼓推进乡村振兴工作。在此背景下,对全国范围脱贫攻坚的成果和经验进行系统梳理和理论总结势在必行。对贫困问题和脱贫机制的梳理总结,一方面有利于防止脱贫之后的返贫,另一方面将有利于下一步乡村振兴的顺利实施。本文即是在此背景下,对云南省梁河县M村的农业产业扶贫项目进行梳理、分析和总结,并希望借此形成对农业产业扶贫这种全国性的扶贫措施的理论反思。M村是精准扶贫工
学位
在过去的20多年中,离散数学和连续数学的研究以多种方式相互影响.例如,Laplace算子在图论和黎曼流形中有着重要的应用.图的谱与黎曼流形的谱之间的类比对谱图理论的发展有着重要的影响.Faber-Krahn定理是图论与黎曼流形之间的另一个类比.对于Rn中体积相同的任意有界区域,谱几何中经典的Faber-Krahn不等式表明球是具有最小第一 Dirichlet特征值的区域,即球具有Faber-Kra
学位
深港通的开通标志着我国A股市场与香港股市间互联互通渠道的进一步完善,是我国资本市场对外开放进程中的一个里程碑事件,对于提升我国A股市场配置效率和助推人民币国际化进程具有重要意义。同时,深港通的开通也让深圳股市与香港股市之间的联系更加紧密,加剧了波动性的传导风险,因此,深港通的开通到底对两地资本市场有何影响,是一个值得探讨的问题。本文使用Diebold和Yilmaz提出的广义溢出指数法,针对深圳和香
学位
随着5G和物联网的发展,云计算模式难以应对网络中产生的大量数据以及对延迟要求更高的新型服务,边缘计算因此应运而生。为了从海量数据中获取有价值的信息,在“边缘智能”技术的驱动下,越来越多深度学习应用被部署到网络边缘。然而,对感知数据进行分析和推理通常是资源密集型任务,而本地计算或卸载全部推理任务到边缘节点将带来大量的计算和通信开销,导致无法容忍的任务响应时间。为解决上述问题,本文对边缘计算下模型推理
学位
开发区设立以来,管委会体制作为开发区运用最广泛的一种管理模式,在开发区成为地区经济增长极的过程中发挥了重要的制度优势。经过三十多年的发展,曾被誉为“小政府、大服务”的管委会模式也积累了诸多体制弊端,而对于管委会体制的创新也存在诸多不同的改革思路与方案。以“市场化”为特点的改革是十八届三中全会以来开发区体制机制的改革思路与重点,是破解开发区管委会体制困境的重要探索。论文基于奥斯本政府再造理论并结合我
学位
物业服务作为房地产行业的衍生品,是现代社区管理不可或缺的重要组成部分。在住宅商品化改革以前,受我国所有制经济政策的影响,物业管理工作基本上由政府部门负责,其作为政府部门的一项行政职权与现在市场经济条件下的物业服务模式完全不同。从上世纪80年代,在公有住房商品化改革的背景下,我国开始探索对住宅物业由政府行政化管理向社会组织在市场经济条件下公平竞争的现代化物业服务模式转变,由于我国物业服务行业的发展历
学位
近几年来,自动文本纠错已经逐渐成为自然语言处理领域中的一个重要研究方向。自动文本纠错旨在通过计算机将一个带有语法错误的句子纠正成对应的正确句子。自动文本纠错技术在文书纠错,教育,数据预处理,语音识别后处理等领域具有广泛的应用。随着算力的大幅提升,深度学习的方法在文本纠错任务中占据了主要地位。在深度学习的帮助下,文本纠错的精度得到了大幅提升。目前主流的深度文本纠错方案分为两种:一种是基于序列到序列架
学位