分布式存储系统容错机制的研究与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:ryan1114
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人类社会数据爆炸性增长,分布式存储系统的规模也越来越大,节点数少则几千多则上万,磁盘或者节点出现故障的概率大大提高。因此,容错技术是分布式存储系统中不可或缺的重要研究内容。本文在实验室自主研发的分布式存储系统BOSS基础上,对分布式存储系统的容错关键技术进行研究。本文的主要工作如下:(1)针对数据布局算法进行研究,提出了一种基于层次结构的数据布局算法。该算法通过两次哈希选取数据布局位置,能够较好的兼顾数据可靠性与负载均衡性,并且以较小的代价支持集群的动态拓扑变化。(2)在BOSS系统上,实现了RS纠删码,比多副本技术提供更高的容错能力,并提升存储空间利用率。针对数据修复消耗网络带宽过大的问题,提出了一种基于Prime最小生成树的数据修复策略,可有效降低纠删码数据修复时的网络占用带宽。(3)提出了一种磁盘健康状态检测方法,该方法将磁盘空间均等分割为多个采样区,然后在每个采样区内随机取点,综合考虑IOPS性能和延迟,在保证准确率的同时,能够在较短时间内检测出故障磁盘,为及时识别和替换故障磁盘,保证数据可靠性发挥重要作用。
其他文献
区域经济和区域创新能力的差距是否存在逐渐缩减的趋势,尤其是是否存在区域创新能力的收敛,是在区域经济增长过程中重要的考察内容。京津冀区域作为国家发展战略中的重要发展
传统的模拟量检测手段已无法满足飞机数字化制造的需求,近年来国内飞机制造企业引进了多种的数字化测量设备,数字化测量设备被广泛应用于飞机结构件的外形数据检测和空间位姿测量。将数字化测量设备安装在机器人末端,实现对飞机结构件的自动化扫描测量是飞机数字化测量的必然趋势。扫描路径规划是实现自动化扫描的关键步骤,合理的扫描路径能有效地提高扫描质量和效率。本文针对飞机结构件的外形数据测量需求,将激光扫描仪安装在
随着经济社会的发展,出租车作为城市交通系统的重要组成部分,为人们的出行发挥着重要的保障作用。海口作为海南省的省会城市和旅游窗口,出租车行业无疑也是一张重要的城市名
风险投资作为一级市场的股权投资者,在被投资企业IPO后有足够的动机把股份变现获利。但是,现实中风险投资者在其投资的企业上市后仍继续持有股份。近年来,我国创业板的上市公
超连续谱光源又称为白光激光器,具有光谱宽、亮度高、空间相干性好等特性,在光学相干层析、光谱学、光学频率测量、生物医学等领域具有重要的应用价值。目前,如何获得光谱向
随着对“资本结构之谜”研究的不断发展,许多学者不再局限于从股东、债权人等财务利益相关者角度出发,而是从多元化综合的角度对其进行分析。商业实践让学者们开始意识到关系
利用光学手段对等离子体特性进行表征是一个重要的物理课题,但却受限于光谱的频率范围,X射线、可见光和微波等频段早已应用于不同电子密度的等离子体诊断中。而对于核聚变点
随着十几年来GPU硬件制造技术的不断提升,GPU计算能力以接近摩尔定律的速度飞速发展着。得益于GPU设备的可编程性、高吞吐量和高并发能力,GPU通用计算成为研究热点,也越来越
科学的证据问题曾因经验主义陷入反经验主义的围困而险遭滑坡。出于维护经验主义与捍卫科学客观性的目的,蒯因针对两点提出了自己的证据理论:一是批判反经验主义取消观察的企图,二是修正传统经验主义中僵化的单独主义思想。作为一位彻底经验主义者,蒯因表示,经验主义关乎的是证据问题而非真理问题;科学知识追求的是客观性而非确定性。他从科学内部出发更新经验概念,以观察句的当下自明性与主体间性稳固了观察在科学事业中的证
图像分割是通过对不同特征的像素点进行标记,将图像分割为互不重叠的多个区域的技术。基于图割的GrabCut算法结合了图割理论和高斯混合模型,用户通过简易的交互就能得到良好