集中共享存储环境中缓存集群的关键技术研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:sanye8879c
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学计算、数据分析、数据挖掘等数据密集型应用技术的迅猛发展,集中共享存储以其易管理、高可用、易扩展等优点,可以满足应用对存储系统高可用、可扩展以及高性能的要求。缓存是提高存储性能的重要手段,位于集中共享存储数据通路上的缓存集群对系统的性能具有重要影响。然而,由于传统缓存管理的不适用性,导致缓存集群的性能与可靠性、一致性存在矛盾,进而影响了系统可用性和可扩展性。本文针对集中存储环境中缓存集群管理存在的问题,重点研究高性能的缓存集群高可用和一致性技术,在保证数据的一致性前提下,增强集中存储系统的可用性和可扩展性。本文的主要工作及贡献如下:   高性能、高可靠的缓存服务保护。针对网络缓存镜像之间的数据一致性问题,本文提出了一种高效的缓存数据版本管理方法WACE。相对于传统版本方式,其特点为:①节点间版本独立异步的计算和比较,极大降低了版本同步开销;②具有较强的开放性,无需修改当前的成熟的存储协议。实验结果显示,WACE可以有效的保证缓存服务的高可用,增强了存储系统的可用性。在性能方面,典型负载测试表明,相对于传统的缓存同步模式,负载的响应时间平均降低68.35%、请求吸收率平均提高32.53%、读响应时间平均降低19.31%。此外,其平均性能可以达到性能理想模式的91.6%。实验结果表明了WACE的高效性。   适用于缓存集群的高可用方案。在高性能、高可靠缓存服务保护的基础上,针对各缓存节点承载的自身应用与缓存镜像共享缓存导致的资源管理问题:①使用缓存分区进行区分应用,并提出了FAME方法解决各分区间缓存容量的动态调节。实验结果表明,FAME使能缓存镜像分区与原有应用分区有效的进行动态容量调节。②提出了基于缓存收益的分配方法CMU,提高共享缓存资源的收益。多种负载组合的测试表明,CMU可以有效提高共享缓存资源的缓存收益。   基于缓存集群自治的缓存一致性维护。针对缓存集群中节点间的缓存不一致,本文提出了缓存一致性方法AID,它具有自治性、非集中管理等优点。针对其中存在的并发控制问题,提出了并发控制协议FOLD。典型负载测试表明,相对于传统的缓存关闭模式,其响应时间平均降低59.36%,存储负载平均降低42.20%。此外,其平均性能可以达到性能理想模式的92.78%。在扩展性方面,实验结果表明,采用AID的缓存集群其聚合性能随着节点数目的增加而接近线性提高,表明AID有效增强了系统的可扩展性。   原型系统MFC。实现了原型验证系统MFC。根据各方法在MFC上的上述评测效果,验证了各方法的有效性。此外,MFC具有灵活性、模块化、可配置等优点,软件开销约为2.9%,这表明了上述各研究成果的可实现性。
其他文献
基于面向对象思想开发的学生信息管理系统,是很典型的管理信息系统。其开发主要包括后台数据库的建立、维护和应用程序的开发两方面。对于数据库,要求数据一致性和完整性强,数据
蛛网膜下腔出血(subarachnoidhemorrhage,SAH)是一种严重的神经系统疾病,具有死亡率高、致残率高、误诊率高等特点。临床上用于诊断SAH最常用和有效的影像手段就是X射线计算机
半主动激光制导武器和红外点源制导武器在现代战争中占主体地位,在精确打击目标时显示出惊人的作战威力,因而,开展半主动激光制导武器和红外点源制导武器对抗技术研究,对保护己方
近年来,随着人类科学技术的不断发展和需要,对计算机视觉(机器视觉)的研究也日益深入。由于摄像机的标定是计算机视觉的第一步,已逐渐成为视觉研究的一个热点,其在诸多图像应
随着具有视频拍摄和上传功能的智能设备的普及和网络带宽增加,实时交互式直播应用(如花椒,映客等)井喷式发展,成为网络社交、自媒体和广告营销的新方式。在交互式视频直播系统中,直
贝叶斯网络(Bayesian Network或BN)是将概率和统计应用于复杂系统的不确定性推理和数据分析的一种重要有效工具。由于大学生消费数据存在不确定性,为了能合理有效对大学生消费
三维模型处理、植物建模及其真实感绘制是计算机图形学领域中的重要研究课题,在虚拟场景构建、3D电影游戏、数字城市、园林规划和林业科学研究等方面有着广泛的应用背景.尽管
无线传感器网络(Wireless Sensor Network, WSN)是由部署在监测区域内大量的廉价微型传感器节点组成,通过无线通信方式形成的一个多跳的自组织的网络系统。它结合了计算、通
现有的序列模式挖掘算法已经在大型的数据库中得到广泛的应用。然而,随着数据挖掘技术的发展和应用领域的不断细化,用户对挖掘出来的序列模式提出了更高的要求。因此,将用户
MP3作为音乐格式的一种,由于在复杂性、音质与压缩比之间的完美组合,使得其越来越受到各界的关注,在市场中占有一席之地。尤其是近几年来电子技术的发展,在便携式设备领域中受到