机群文件系统元数据服务高可用关键技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:GWstars
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
元数据,作为描述数据的数据,是机群文件系统的重要组成部分。元数据服务的高可用对于降低元数据服务器异常宕机对正常应用的影响具有十分重要的意义。然而,现有的典型机群文件系统元数据高可用技术方案主要存在两个问题:一是在保证失效接替一致性和正常访问性能的高可用方案中存在接替时间长的问题;二是在保证一致性和接替时间短的高可用方案中存在对正常访问性能影响大的问题。本文主要针对第二类问题进行研究,提出一种在保证失效接替一致性和接替时间短的同时,降低正常访问延迟、提升访问性能的高可用方案和一种备机元数据服务的在线重构机制。本文的工作和贡献如下:  对影响机群文件系统高可用方案性能的主要因素进行总结分析。根据对当前主流文件系统高可用方案的对比和分析,本文总结了影响机群文件系统高可用方案性能的三个主要因素:一致性、连续性和对正常访问性能的影响,并且指出现有高可用方案还未能很好地解决同时满足这三个因素的问题。同时,为本文的研究提供指导方向和性能评价指标。  提出并实现采用恢复缓存网络备份的异步元数据更新高可用方案。本文采用了元数据异步更新,在元数据正常访问过程中元数据更新操作结果在内存中完成后,即可通过网络向备份元数据服务器发起备份过程,而不必等待操作结果同步写入到元数据持久介质上,降低了同步写入磁盘操作带来的响应延迟开销。但元数据异步更新模式带来了新的接替情境,备机需对宕机前已完成网络备份但还未写入到磁盘上的元数据更新操作进行重放恢复,并解决有依赖关系的元数据操作恢复顺序的难题。本文提出的基于简化版本号的恢复方案,利用AOV网的拓扑排序将元数据操作按照被依赖关系进行恢复,巧妙地解决了重放顺序问题,保证了失效接替一致性。该方案还支持无依赖关系操作的并发恢复,缩短失效接替时间,提升系统可用性。基于BWFS_PNFS实现原型系统,和原有同步高可用方案相比,测试结果表明:在单客户端访问模式下,正常访问性能提升0.27倍~1.42倍,在多客户端并发访问模式下,正常访问性能提升0.37倍~2.63倍,失效接替时间在6s范围内,维持在同一数量级。  提出并实现—种不阻塞正常访问请求的备机元数据服务在线重构机制。在机群文件系统中,添加新的元数据服务器使其成为备机的过程称为备机元数据服务的重构过程。本文在不阻塞客户端正常访问请求的情况下,完成对新添加备机的重构,对系统正常性能影响小。通过建立状态缓存池,有效解决有依赖关系状态缓存的重构问题,并且兼容仅剩余主机在线的重构情况。在线重构能够有效提高系统容忍元数据服务器同时宕机的能力,通过增大系统无故障时间增加的概率提升系统高可用。测试结果表明:当内存中状态缓存为MB级别时,在线重构时间达到秒级,且不阻塞客户端正常请求,具有可行性和实施意义。
其他文献
并行计算模型与并行编程模型一直是并行计算领域研究热点。并行计算模型为上层并行算法设计提供硬件抽象模型,并行编程模型为上层用户提供编写并行程序的基本构件与抽象模型。
随着云计算技术的发展,虚拟机的大规模部署越来越重要,这不仅是满足用户需求的根本,也是实现弹性计算的基础。通过对虚拟机创建过程的性能分析,由于其对空间和时间方面的开销,镜像
视频目标跟踪是计算机视觉领域的重要研究内容之一,也是高层次视频处理和应用理解的基础。目标跟踪融合了图像处理、模式识别、人工智能、自动控制等相关领域的研究成果。跟踪
作为一种开放的业务提供方式,Web服务已经得到了工业界和学术界的广泛承认。随着Web服务技术的发展和成熟,越来越多的业务提供者以Web服务的形式提供服务。然而,单一的Web服
宇宙线是来自宇宙深处的高能粒子流,作为信息的载体,能够让人类更加清晰完整地了解未知的宇宙起源之谜,是研究暗物质、暗能量、反物质、重力波等重大科学前沿的基础。切伦科夫探
在移动通信技术快速发展的今天,LTE(Long Term Evolution)作为3G向4G演进的主流标准而备受关注。由于现今GSM(2G)通信系统占全球通信市场绝大部分,无论从成本或者基础通信系统
近几年,Hadoop以其低成本、高容错、易编程的优势得到广泛应用,同时,Hive作为目前最成熟、应用最广泛的数据仓库工具,可以将SQL语句转换为MapReduce任务运行。因此,在互联网企业中
该文工作以国空"九五"重点科技攻关专题"基于构件/构架模式的应用软件集成环境-JBⅢ系统"为背景.青鸟Ⅲ型系统的核心子系统是青鸟构件库管理系统,由可复用构件库和构件库管理
从二十世纪五十年代用户界面出现至今,用户界面的发展经历了三次演变:批处理界面、命令行界面和WIMP(Window,Icon,Menu,Pointing Device)界面。由于WIMP界面与以前的界面风格相比
目前全国各高校均已建成基于Web的校园信息发布平台、教务信息管理平台。教师和学生可以很方便的基于这些平台收发通知、学习网络课程,管理课程等,但是在考试、出卷、试卷分析