论文部分内容阅读
随着科学计算、数据分析、数据挖掘等数据密集型应用技术的迅猛发展,集中共享存储以其易管理、高可用、易扩展等优点,可以满足应用对存储系统高可用、可扩展以及高性能的要求。缓存是提高存储性能的重要手段,位于集中共享存储数据通路上的缓存集群对系统的性能具有重要影响。然而,由于传统缓存管理的不适用性,导致缓存集群的性能与可靠性、一致性存在矛盾,进而影响了系统可用性和可扩展性。本文针对集中存储环境中缓存集群管理存在的问题,重点研究高性能的缓存集群高可用和一致性技术,在保证数据的一致性前提下,增强集中存储系统的可用性和可扩展性。本文的主要工作及贡献如下:
高性能、高可靠的缓存服务保护。针对网络缓存镜像之间的数据一致性问题,本文提出了一种高效的缓存数据版本管理方法WACE。相对于传统版本方式,其特点为:①节点间版本独立异步的计算和比较,极大降低了版本同步开销;②具有较强的开放性,无需修改当前的成熟的存储协议。实验结果显示,WACE可以有效的保证缓存服务的高可用,增强了存储系统的可用性。在性能方面,典型负载测试表明,相对于传统的缓存同步模式,负载的响应时间平均降低68.35%、请求吸收率平均提高32.53%、读响应时间平均降低19.31%。此外,其平均性能可以达到性能理想模式的91.6%。实验结果表明了WACE的高效性。
适用于缓存集群的高可用方案。在高性能、高可靠缓存服务保护的基础上,针对各缓存节点承载的自身应用与缓存镜像共享缓存导致的资源管理问题:①使用缓存分区进行区分应用,并提出了FAME方法解决各分区间缓存容量的动态调节。实验结果表明,FAME使能缓存镜像分区与原有应用分区有效的进行动态容量调节。②提出了基于缓存收益的分配方法CMU,提高共享缓存资源的收益。多种负载组合的测试表明,CMU可以有效提高共享缓存资源的缓存收益。
基于缓存集群自治的缓存一致性维护。针对缓存集群中节点间的缓存不一致,本文提出了缓存一致性方法AID,它具有自治性、非集中管理等优点。针对其中存在的并发控制问题,提出了并发控制协议FOLD。典型负载测试表明,相对于传统的缓存关闭模式,其响应时间平均降低59.36%,存储负载平均降低42.20%。此外,其平均性能可以达到性能理想模式的92.78%。在扩展性方面,实验结果表明,采用AID的缓存集群其聚合性能随着节点数目的增加而接近线性提高,表明AID有效增强了系统的可扩展性。
原型系统MFC。实现了原型验证系统MFC。根据各方法在MFC上的上述评测效果,验证了各方法的有效性。此外,MFC具有灵活性、模块化、可配置等优点,软件开销约为2.9%,这表明了上述各研究成果的可实现性。