基于CEPH分布式文件系统的云盘系统的设计与实现

来源 :电子科技大学 | 被引量 : 5次 | 上传用户:ruannengjie
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据是当今互联网时代最核心最具价值的产物之一,个人在消费和使用互联网产品的同时产生了大量需要持久化存储的数据,个体存储设备的解决方式在这样一个存储量和存储要求日益增长的条件下不再能够满足个人用户的要求,因此越来越多的个人用户成为了云存储的受众。云计算几十年的发展使得公有云环境下的存储技术已然十分成熟,商业环境下诞生了许多优秀的云盘产品,但其核心技术是对外封闭的,而对于这种面向大量个人用户的公有云盘系统,开源社区也并没有完善可靠的整体解决方案。本文基于上述原因将公有云盘涉及的各个关键模块和技术点进行逐个研究和设计,提出了一整套可靠的云盘系统实现架构。首先对云盘的远程文件系统操作机制的原理和技术进行了分析,研究并设计出CFSRPC协议,给出了协议的客户端和服务端的具体格式定义和二者的通信机制,云盘系统通过对该协议的实现,可以透明化远程文件操作的细节,方便客户端和服务端上层业务的实现。与此同时为该协议设计了事务机制以颗粒化文件传输服务,设计了CSDA算法在协议级别动态调节文件传输的分块大小,增加了该协议对云盘系统性能的优化。接着对云盘系统的核心业务流程进行分析,针对云盘系统依赖的多个关键模块进行了分析和整合设计,总结出以访问层、管理层、存储层为核心的整体软件架构。基于Ceph分布式文件系统设计核心存储模块,研究分析CephFS和MDS的实现原理并根据云盘系统架构和CFSRPC协议的定义,结合多路IO复用机制设计实现了Ceph的接入模块CCD。将云盘系统的请求分化为文件系统操作请求和管理功能操作请求,分别以CCD模块和管理功能模块来接受和处理,中间加入LVS+Keepalived的负载机制使得CCD节点和管理功能节点支持横向扩展。参考Keystone的令牌认证机制设计实现了独立认证系统。以NW.js为框架根据CFSRPC协议的定义设计实现了客户端。最后将整套云盘系统在测试环境下进行部署,完成了认证流程和云盘基本操作的测试,并对单点CCD进行了性能测试,确认整体系统能够达到公有云生产环境的性能要求。
其他文献
随着基础教育改革的开展,人们要求教师转换传统的知识传授者的角色,成为知识的引导者,引导学生探索发现学习。小组合作学习作为一种有效的学习方式逐渐受到教育者的青睐。笔
以双氧水为化学发泡剂,陶粒、水泥、粉煤灰为主要原料制备了轻质多孔型陶粒混凝土,研究了双氧水、粉煤灰掺量变化对陶粒混凝土性能的影响。结果表明,双氧水、粉煤灰掺量可有
对三种不同规格的RPC盖板分别用GB26537-2011《钢纤维混凝土检查井盖》附录B和南方电网《电缆沟盖板标准技术标书》中规定的承载能力试验方法进行了测试并对比分析。结果表明
延安整风是中国共产党第一次广泛、生动的马克思列宁主义思想教育运动,是党内思想政治教育的伟大创举和成功实践。文章在认真分析延安整风成果的基础上,总结了延安整风中的思
【正】对于2015年IT行业预测,有很多老生常谈:VMware公有平台即服务(Paa S)登场;亚马逊发布Dev Ops云平台;或者Docker首次公开募股已达到十亿美元。CA Technologies则认为,20
高校档案作为高校各个时期管理教学等多方面工作的"记录员",是传承高校文化的重要纽带,更推动着高校的健康发展。但在高校档案管理过程中仍存在一些因素,而致使高校难以实现
它能让你的车载导航定位精度达到米级、轻松找到附近最美味的餐馆、甚至在没有信号的野外也能发短信,它正在给人们的生活带来越来越多的便利。这就是全球卫星导航系统,一双神
针对实际工程中常用的压型钢板-钢筋桁架组合楼板存在的不足之处,将压型钢板替换为可拆卸的木塑模板,以形成一种新型组合楼板。试验研究了两个可拆式钢筋桁架混凝土楼板的承
砂基透水砖是以细砂为面层骨料,以有机胶结剂为主要黏结材料,经免烧结成型工艺制备而成,具有透水功能的透水砖。但是由于其面层细砂尺寸较小,砂基透水砖在压制过程中通常会导