分布式环境下的多副本策略研究

来源 :电子科技大学 | 被引量 : 2次 | 上传用户:zhouyong910
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的各种应用在生活中的普及度逐渐提高,全球数据量呈指数级别的增长。根据互联网数据中心的调查显示,早在2011年全球数据量已突破2万亿GB。IBM副总裁在2016年的闪存联盟会议中认为:以大数据为代表的新型应用正在给不同的行业带来机遇,尤其给IT领域的存储系统带来了新的挑战。随着大数据存储的不断挑战和发展,数据存储在安全性方面的困境也与日俱增,其中在数据的处理、传输、存储等方面体现得尤为突出。一旦出现安全问题,用户的个人隐私、好友联络情况、购物记录、检索习惯等信息都会有泄露的危险。面对数据存储在容量和安全性上出现的瓶颈,蓝光光盘库可以比较好的解决这些问题。首先,蓝光光盘库通过增加光盘的方式可以方便的扩充容量,可管理PB或EB级别的存储资源;其次,采用了RAID0、RAID5、RAID6技术,安全级别可以达到19N。本文将根据帕列托原则(大量的I/O请求访问少量的热门数据,而大部分的冷门数据访问频率却极低),在技术上引入蓝光光盘库作为底层的存储设备,搭建混合介质的存储系统。在引入蓝光光盘库到云存储系统之后,系统会面临如何保证分布式系统中副本之间的一致性,如何解决混合介质之间的数据迁移,以及数据迁移造成的读写一致性问题。针对以上问题,论文将要完成的工作如下:(1)对现有的副本一致性策略进行研究与分析,探讨一个适合混合介质存储的副本一致性策略,该策略综合用户设置、文件访问、副本信息等因素,能比较好的完成副本更新任务。(2)对存储系统的在线迁移技术进行研究与分析,探讨采用循环缓冲区减少访问冲突的方法,能比较好的完成在线迁移任务。
其他文献
模式串匹配是计算机科学中一个基本、重要的研究问题。随着信息技术的高速发展,它在Internet网络信息搜索、数据流挖掘、网络入侵检测、计算生物学等领域中的应用越来越广泛
矿产资源定量预测是地质学和数学、信息技术、计算机技术相结合的产物,它建立矿产资源与地质条件之间的定量关系,从而使矿产资源预测更加客观、更加准确,效率也大幅提升,同时
随着人工智能的快速发展,伴随其而来的相关技术与应用应运而生,以人工智能为基础的产业蓬勃发展,其中图像识别与目标跟踪技术在各个领域应用广泛,特别是在安全监控与增强现实
网络管理涉及的问题很多,管理的范围很广,随着网络规模的扩大和网络复杂性的提高,网络管理的难度也日益增加。网络管理业务是有一定流程的,尽管不同的功能域可能存在不同的流
随着互联网的快速发展,网络上的信息呈爆炸式增长,如何快速而准确地获取用户感兴趣的信息,这一需求推动了信息抽取的发展。信息抽取最常用的方法是模式匹配法,为了减少自动抽
随着互联网的快速发展,网络上关于某一主题的新闻报道呈爆炸式增长,大量的事件信息存在冗余、不完整、不一致、有歧义现象。如何能快速准确地获得某一主题详细而完整的信息是
随着网格技术的不断发展及网格应用研究的深入,网格环境下业务流程越来越复杂。随着业务流程规模因跨领域跨组织而增大,导致业务流程的高复杂性,就会由于状态空间爆炸而给网
在Ad hoc网络应用中,存在的主要问题是安全问题和资源消耗问题。如何在路由过程中保证安全,并节省有限的资源和通信带宽是目前需要解决的主要问题。本文针对Ad hoc网络路由的
随着大数据时代的到来,传统的技术已经无法满足日益增长的存储需求,分布式存储技术应运而生。HDFS是Apache开发的云计算平台Hadoop的分布式存储系统,可以运行在大规模廉价的
随着互联网的快速发展,计算机软件的运行环境逐渐开放化,软件动态演化已经成为软件工程领域的研究热点之一。面向方面编程(AOP)是一种新兴的编程技术,其关注点分离技术能较好