社交网络大数据分布式存储系统优化技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:woailzm002
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社交网络图片分享应用的流行,社交网络服务提供商存储和传输大量图片数据的挑战更加艰难。为了有效的提升数据传输性能,服务提供商一般部署分布式缓存来解决问题。影响分布式缓存性能的因素有两个,一个是服务器使用的存储介质,另一个是缓存系统使用的替换算法。由于固态硬盘能提供极高的吞吐率,目前分布式缓存经常使用固态硬盘存储数据。固态硬盘的写放大会影响固态硬盘的随机写性能和使用寿命,写放大的大小与缓存系统使用的替换算法有关。经过分析发现,LRU算法能够提升缓存的命中率,但同时引起严重的写放大,FIFO算法能够将固态硬盘写放大降到最低,但是FIFO的低命中率会增大带宽开销。针对上述问题,提出了一种新型的混合替换策略——F-Sk LRU,这个算法能在性能和成本之间做一个折中。F-Sk LRU通过扩大FIFO算法的替换单元进行批量的擦写,每个替换单元保存大量数据,利用顺序写来降低固态硬盘的写放大。对替换单元中保存的数据进行访问频度统计,结合时间局部性和访问频度区分出冷热数据,在替换单元被擦除时保留热门数据以提高访问命中率。F-Sk LRU算法能够根据写入数据特性设定参数k,以最大化的提高访问命中率并降低固态硬盘写放大。仿真实验结果表明,相对FIFO和LRU算法,F-Sk LRU算法能够降低14.11%~23.4%带宽消耗。在固态盘磨损方面,F-SkLRU在一般情况下相对于LRU能够降低200%~300%。
其他文献
真实感场景的绘制是计算机图形学研究的热点和难点之一,它作为虚拟现实技术的关键部分,随着计算机图形学的发展,在近几年受到广泛的重视。本文不仅研究真实感场景的关键技术,而且
软件的生命周期,包括需求获取,需求分析,设计,实现,测试,发布和维护等·系列软件开发活动。软件过程模型是过程的一种抽象表现形式,它从理论的角度对过程的各个方面进行描述。在软件
可满足性问题(Satisfiability problem问题,简称SAT问题)是第一个被证明的NPC(Non-deterministic Polynomial Complete)问题,它是计算复杂性理论的奠基石,是计算机科学与人工
随着计算机技术和网络的飞速发展,数据库的应用十分广泛,深入到各个领域,越来越多的企事业单位、科研机构等将自己的数据库连接到Internet上,但随之而来产生了数据的安全问题。各
在数据集成环境中,一致性查询应答技术是一项管理非一致性数据的有效技术,它能在保持源数据不变的条件下,查询到要求的一致性查询结果CQA(consistent query answer)。目前CQA的
随着互联网的迅速发展,在线图片的数量呈现爆炸性的增长,尤其在最近移动互联网端的迅猛发展,图片作为其信息呈现的载体逐渐火爆。随着大量图片资源的涌现,在大规模的图像规模
随着医疗技术和嵌入式技术的发展与进步,家庭健康监护系统的使用逐渐普及。家庭健康监护系统是缓解目前老年人对有限的公共健康服务基础设施依赖,并为其提供更为长期有效的监护
为了保证网络资源的安全可控,网络接入控制已经成为当前主要的安全环节。其中,采用网络身份鉴别协议EAP同PKI技术相结合,成为了集通用、安全、高性价比于一身的做法。目前业
本文以基于控制流图的数据流分析技术为基础,研究C/C++程序中指针引用的合法性检查。首先分析指针非法引用的各种表现形式和产生原因,构建具体的检查规则;然后以控制流图为数据
随着网络技术的快速发展,包含有文本与图像等数据的多模态文档大规模地出现在人们的日常生活中。在信息的世界中,这些不同模态的数据资源可以无形地提升感觉器官接受知识的能力