易扩展的、健壮的数据密集型作业管理系统的实现

来源 :第十五届全国科学计算与信息化会议暨现代物理信息化论坛 | 被引量 : 0次 | 上传用户:xhbtbyrr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  “大亚湾反应堆中微子实验”计划利用我国大亚湾核电站群独有的自然条件,测量中微子振荡的6个关键参数之一—中微子混合角θ13,对中微子物理的未来发展将提供方向性指导。根据估算,实验将会产生长4PB 的物理数据,这些数据会以计算作业的形式被分析计算。本文基于大亚湾物理实验的计算需求,设计并实现了一个易扩展的、健壮的作业管理系统——DYB-DIOM(Dayabay Data Intensive Job Management)。
  DYB-DIOM 是一个具有模块化结构的作业管理系统,其规模和功能易于扩展,并且具有强大的容错机制。DYB-DIOM的特点与功能包括:提供多种用户接口完成数据密集型作业的拆分与提交;借助XML-RPC和Zero-MQ进行服务端和客户端的通信;制定并提供统一模块组件接口保证系统具有良好的扩展性;“推”、“拉”结合的作业提交模型使系统实现了跨平台作业管理;作业状态自动检查以及出错作业重新提交功能提高了作业运行成功率;作业管理界面和服务端程序的运行隔离,保障系统的稳定运行。该系统目前已经部署在大亚湾实验实际的计算环境中,提供了功能丰富、安全可靠的作业管理服务。
其他文献
  计算环境的监视和管理是计算系统运行维护的重要组成部分。本文对计算环境进行了分析,提出计算环境管理的基础是设备管理,计算环境监视可以通过监视设备属性的变化实现。设
  分析了当前国内外网络安全态势评估研究现状,针对研究中普遍存在的问题,融合防火墙、IDS、IPS、漏洞扫描系统等多种网络防护设备的监测信息以及系统运行日志,同时考察网络设
  文章首先介绍了高能所流量分析系统设计和实现的背景;接着介绍了与系统设计实现相关的原理和技术,包括NetF1ow和nProbe技术,以及应用NetFlow技术实现网络流量分析的方法;然后
  本文介绍了一种支持大批量数据的实时传输系统。系统根据物理实验的需求,提供了与数据产生系统和数据管理系统的接口,并实现实验数据从实验现场到数据和存储中心的传输。目
一毯长案,一砚香墨,一管霜毫,一纸净宣。双目微闭,一脸敬畏,足下生根,手运千钧。铺纸似佛锦,落毫似烟云,枯荣似虬柏,浓淡似氤氲,似群山万壑,五岭风雨绵绵不断……这,便是陶然
以2015年为基期,将54个国家的中国对外直接投资(OFDI)存量作为样本,利用模糊集定性比较分析法(FsQCA),从东道国制度环境、东道国与中国之间的制度距离以及双边投资协定(BIT)
  云计算的数据不是存储在本地,数据的安全性成为用户最大的顾虑。通过分析用户对数据安全保护的需求,提出了将用户数据分类管理的思想,在此基础上设计了基于云计算的数据安全
  志愿计算是一种分布式计算,其基本思想就是让大众贡献计算资源以解决科学研究中所遭遇的计算需求难题。由于中国拥有着庞大基数的联网计算机,所以发展志愿计算的潜力是不可
  本文根据大型网络系统运行维护任务进行分析,结合MOSS(Microsoft Office SharePoint Server)平台和工作流技术,提出了“服务器系统运行维护-协作办公平台初步设计”。本设
工程质量是工程建设领域的永恒话题.近二十年中国建筑飞速发展,楼堂馆所、房地产开发项目、高大精尖项目层出不穷.由于对工程进度、经济效益的一味追求,“楼歪歪”“楼倒倒”
期刊