分布式持久化缓存系统的研究与实现

被引量 : 0次 | 上传用户:taohappy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,应用程序对后台性能的要求越来越高,数据量也越来越大,传统的关系数据库已经无法满足当今的海量数据规模应用。而在大数据时代,人们总希望存在一个Key-value存储机制,像HashMap一样在内存中处理大量的Key-value对,以便提高数据的查找、修改速度,为此NoSQL技术得到了长足发展。目前,NoSQL主要有两方面的应用,一是将数据按列存储作为数据库存储服务器,另一个是将数据全部存储在内存中作为关系数据库的前端缓存以提高动态Web应用的访问速度。通过缓存系统就能减少数据库的访问次数,因为它能将数据库的查询结果缓存到内存中。但是传统的缓存系统为了追求更高的性能大都是基于内存存储的,数据的持久化功能并不完善,因而系统会受到内存容量的限制,并且在系统宕机时会导致数据全部丢失,无法恢复。为此本文提出了缓存持久化存储的思想。本文首先对现有的缓存系统进行了分析和比较,指出了其中的缺点和不足,针对缓存数据的持久化运用了LSM-Tree理论进行改进,以牺牲随机读换取顺序写来实现数据的高效持久化存储;然后对分布式系统的扩展性及相关的关键技术进行了研究分析,如分布式系统中的数据一致性、数据同步机制、数据切分规则等,并参考Google的单机持久化存储系统LevelDB和Amazon的高可用、高可扩展的Dynamo分布式架构实现了一个分布式的Key-Value持久化缓存系统SSDB(SortedSet DB);最后运用了布隆过滤器等思想对SSDB进行了一系列优化,并对SSDB和Redis做了性能测试,同时将结果放在Highcharts插件中展示对比。结果表明,优化后的持久化缓存系统SSDB在读写性能上比Redis只是略有下降。
其他文献
目的:探讨糖尿病家族史与妊娠糖尿病的关系。方法:于2004年12月~2005年9月对天津市区怀孕26~30周孕妇行口服50 g葡萄糖筛查试验,阳性妇女共896人,再行75 g口服葡萄糖耐量试验,
期刊
<正>一、知识思维导图二、解题方法归纳总结1.温度,内能,热量和功之间的区别与联系(1)区别温度:用来表示物体冷热程度的物理量,是系统内部大量分子无规则运动的激烈程度的标
垃圾分类是发展循环经济的重要环节和内容,垃圾分类既可以减少土地占用,还可以减少环境污染,同时也能够节约资源。从国际上看,发达国家在垃圾分类方面具有较为成熟的经验和做
农业合作社是农民自愿组成的、以互利为基础的、自治性的生产经营组织。其作用正越来越受到重视 ,《合作经济组织法》也已列入十届全国人大立法规划。尽管农业合作社是生产经
随着信息技术的迅猛发展和人民民主意识的不断提升,政府的治理能力越来越受到各个方面的考验。特别是因科技发展所带来的媒体传播方式的改变,进一步威慑着政府的公信力。在新
大众传播中传播者与受传者之间的关系一向被认为是影响与被影响关系和买卖关系。本文以生态学角度重构两者的关系 ,认为处于传播系统中的传播者与受传者是协同进化关系。协同
目的研究GSTP1A313G、ATP7A C767G、XRCC1A399G、ERCC1C118T的基因多态性与晚期NSCLC患者顺铂疗效和毒性之间的相关性。方法共97例以顺铂为基础化疗的晚期NSCLC患者参与本研
本文首先介绍了避税的概念、特点及危害,然后列举了关联企业的避税方式,着重对关联企业通过转让定价的方法进行分析,并且强调了转让定价的方法,针对这些情况提出完善相关税收
<正> 今年3月21日,中美两国政府草签了避免双重课税功定,并定于里根总统访华期间正式签署。避免双重课税协定,是国家间协调纳税管辖权,促进双边经济交流的重要措施。众所周知