服务端存储优化技术的研究与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:wangyifan_18
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
内存与硬盘读写性能不匹配的矛盾根本决定了持久化存储性能是现代服务端系统的性能瓶颈。人们围绕着如何提高持久化存储系统性能这个话题,提出了很多优化技术。但在存储系统中根本性问题没有解决的情况下,对存储系统优化的探索就不会停止。本文的研究对象是服务端存储系统的性能提升技术。首先,研究了一些存储系统有关的成熟的优化技术及其原理与优缺点。这些技术包括Bloom Filter算法、rabbitmq缓存如何提升存储系统性能、持久化存储优化技术中的索引技术、分片技术、事务管理技术等。通过分析这些技术的优缺点,本文提出了对部分技术的改进措施。第一,针对Bloom Filter无法删除缓存中元素以及无法做统计功能的缺点,提出了将B树融入Bloom Filter算法,设计了B-TreeCBF缓存系统。第二,针对分布式事务管理的2pc方案性能低下的问题,以及ebay提出的本地消息表方案有状态服务的缺点,提出了使用本地消息文档方案,使微服务做到了真正的无状态管理分布式事务。其次,本文基于现有优化技术提出了一些优化技术。利用rabbitmq的队列特性,将部分同步写数据库操作转化为异步写数据库操作,使得应用不必等待执行效率低的硬盘数据库的操作结果,可以大幅度提升系统的性能;使用分片技术不仅使数据库系统可以容纳无限制的数据量,还使用多个分片节点提高了数据库系统的并发读写效率;通过细粒度控制数据的因果一致性,使得存储系统在数据一致性和吞吐率之间做了很好的折中,尽最大限度提高了存储系统的性能;通过合理的划分数据实体结构与实体关系,使得数据库避免了大量低效的关联查询,提高了数据库单次业务操作的执行效率;利用异步io思想,结合rabbitmq、redis和mongodb系统,将所有底层存储有关的接口封装成异步接口,使得系统对存储系统的写操作变为异步执行,避免了应用层线程阻塞等待存储系统操作结果而占用大量服务器硬件资源,从而间接提高了系统整体吞吐率。本文还基于这些优化技术设计并实现了高并发存储系统。最后,对这些改进技术进行了功能测试和性能测试,验证了以上优化技术可以提高存储系统的性能。
其他文献
提高教师的指导水平,建立健全切实的考评制度是确保实习课教学质量的重要环节。以焊工专业实习课教学为例,论述如何抓好指导与考评两个环节。
根据高职护理专业《中医护理学》当前的教学现状,采取与之相适应的教学改革方法,达到提高学生学习兴趣,从而培养高素质、实用型综合护理人才的目的。
当代文化论坛(编者的话)改革开放启动了当代中国的社会转型,转型期的各种社会、文化现象已引起学界的普遍关注。本刊自1993年第3期辟“当代文化论坛”专栏,拟以文化的视角对现实的社会
本文对中国体育发展两个阶段中群众体育发展状况作了总结和回顾,探讨全面建设小康社会中我国群众体育的定位、任务、内涵,对全面建设小康社会进程中群众体育改革与发展产生的
大阪直美在2019年澳大利亚网球公开赛首度夺得澳网桂冠,是继2018年美国网球公开赛首次捧起大满贯单打冠军后的又一壮举,作为成长型的新生代球员,对其发球与接发球的技战术进行研究具有较高的研究价值。本文选取了大阪直美在2019年澳大利亚网球公开赛女子单打八强到决赛的四场单打比赛发球与接发球的技战术进行分析。运用了文献资料法、录像观察法、数理统计法、比较分析法和逻辑分析法对大阪直美在2019年澳网中所
吐蕃教育刍议苏发祥教育是人类社会历史发展的必然产物,它不仅是衡量一个国家、民族社会历史发展进程的重要标准,而且也是一个国家、民族未来生存发展的最主要基础。公元7世纪在
为了贯彻、落实党的十五大精神,支持和促进企业改制和发展,上海市工商行政管理学会曰前组织召打了“促进企业改制和发展理论研讨会”.来自上海市政府、市社会科学院、部分大
采用氮磷施肥比例试验与最佳氮磷比例条件下施肥量试验相结合的设计方法,对平衡土壤养分类型和不平衡土壤养分类型玉米的边际产量变化规律进行了研究。结果表明,2种养分类型的