基于RAID5的内存键值存储系统的可靠性研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:hewanjiang1975
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动互联网的迅猛发展给当前应用带来了动辄千万的用户,规模巨大的用户数量产生了海量的数据。为了保证用户体验,需要极大提高海量数据的存取速度。尤其是在故障频发的情况下,若不能保证系统的可用性来及时恢复数据响应用户,应用将会面临被淘汰的可能性。为了提高系统性能,当前很多应用将热点数据存储在基于内存的键值存储系统中。而内存掉电数据丢失,现阶段通用的解决方案是通过多副本和编码来保证数据可用性。对于内存存储,采用多副本方案的成本很高,而通过纠错编码可以显著地减少内存存储成本。目前,面向内存的键值存储系统用编码实现可靠性的系统较少,典型的有Cocytus。但是Cocytus是基于4KB大小的粒度进行编码,数据写入和实时恢复上存在着放大问题;另外,Cocytus采用非中心控制架构,使得服务器间的点对点通信开销较大,进一步影响了数据的写入性能。针对上述问题设计了一个新的内存键值存储系统MemcacheR。该系统在内存中以单个key/value对的粒度进行RAID5编码存储,编码运算为异或操作,简单高效。同时编码粒度小,克服了Cocytus编码粒度过大所产生的影响,当系统出现故障时,能够更快速地恢复数据并返回给用户。在系统中设计实现了集中式管理,通过中心模块来管理Memcache R系统,避免了服务器间点对点的大量通信,明显提高了数据的写入性能。测试结果表明,MemcacheR相较于副本系统能够节约存储成本35%~45%。读延迟与原生的Memcached系统基本持平,写延迟比多副本系统低10%左右,最多比Cocytus低25%左右;在实时恢复降级读延迟上,最多比Cocytus降低40%左右。
其他文献
为了确保高等教育品质,提升系所办学质量,台湾地区自2006年起就在高等教育评鉴中心的组织下开展了以五年为一周期的系所评鉴活动。其中,系所的自我评鉴是整个系所评鉴最为核
随着互联网的快速发展,类似Facebook、微信等社交类的互联网企业缓存的图片数量呈指数级增长,传统磁盘构建的缓存系统在性能上已经无法满足应用需求。固态盘(SSD)作为一种新
混凝土搅拌车运用在各种建设工程中,其改善了混凝土在远距离输送中所遇到的品质下降等问题。搅拌车在启动、刹车、转弯等工作过程中受力情况复杂,驱动装置的零部件发生失效会导致凝罐,所以对搅拌车驱动装置的故障监测算法进行研究很有必要。本文首先对搅拌车减速机关键零部件进行力学分析。对预紧螺母、前端轴承、和减速机地脚螺栓进行了力学计算,得知其失效率较大;在ANSYS中对轴承支座建模分析,得知轴承支座失效率较小。
冬季鲜马粪将不受粪节肢动物扰动,而夏季有大量粪节肢动物进入取食和产卵,两种状态的马粪块中粪节肢动物组成有明显差别,分解特征也会很不相同;马粪排泄所处的微生境(草丛和裸
随着信息技术的发展和电子商务的普及,人们可以获取的数据越来越多,也随之出现了无法高效、精准的获取自己需要的信息的困境。在这种情况下,可以实现海量信息过滤的推荐系统
固态盘在对闪存页执行写入操作之前,必须首先擦除整个物理块,这种底层物理特性使得固态盘在更新数据时不得不采用“异地更新”的写入方式,因此在系统内会产生旧版本无效数据
放牧是内蒙古典型草原的重要利用形式,牛和马是主要放牧牲畜。放牧牲畜粪分解不仅是草地生态系统物质循环的重要途径,还是众多草地节肢动物的重要食物来源和适合栖息场所,对
图像分割是计算机视觉中的一个经典难题。本课题的研究主要应用于基于视频的奶牛识别系统,其中,完成对奶牛图像的有效分割是实现该系统的基础。目前,图像分割面临的难题是如
近年来,尽管国际国内社会出台了多种法规制度对上市公司的财务报告和盈余管理加强治理,但总是有不法企业寻找法规制度漏洞,特别是利用财务报表中的真实盈余管理对企业的财务报告和经营活动进行不正当的调整和运作,误导外部信息使用者。我国上市公司财务丑闻不断,仅2018年,证监会就处罚了信息披露违法类案件56起。2019年更是爆出了骇人听闻的“两康财务事件”,康得新虚增利润119.21亿元,康美药业300亿级别
随着互联网技术的发展,新闻的生产关系、传播方式发生了巨大变化。报纸、广播等传统媒体逐渐被新媒体取代。资讯类APP具有内容多样性、阅读便捷性、传播快捷性等优势,成为受众阅读新闻的首要选择。在市场竞争日益激烈的情况下,资讯类APP的新闻推送服务占据着越来越重要的地位。一方面,新闻推送能唤醒沉睡用户,提升产品活跃度,塑造客户端品牌形象;另一方面,新闻推送可以满足用户的个性化需求,提供良好的用户体验。但是