数据块关系指导的存储系统性能优化技术研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:lryna22
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
存储系统逐渐成为网络服务器系统的主要瓶颈。为了提高存储系统性能,当前研究的明显趋势是通过对应用负载进行分析,针对访问特征对数据预取、缓存替换、数据分布等策略进行优化。   数据块关系是应用的数据语义模式在存储系统中的表现,可以有效描述系统优化所关心的应用访问特征并指导性能优化。使用数据块关系指导存储系统性能优化需要解决若干关键问题:首先数据块关系的挖掘是一个NP-hard问题,其挖掘开销难以被实际系统接受。其次存储系统缺乏基于数据块关系访问特征的优化技术。   本文研究了高效的数据块关系挖掘方法和基于数据块关系访问特征的主要优化技术,使得挖掘开销相对传统方法下降一到两个数量级,系统的平均响应时间下降50%-79%。本文的主要贡献和创新点如下:   1.基于噪音过滤的数据块关系挖掘方法。本文分析影响数据块关系挖掘效率的主要原因--噪音,并提出了支持噪音过滤的数据块关系挖掘方法Z-Miner。Z-Miner在经典的深度优先挖掘算法的基础上,根据不同噪音的类型使用全局分支裁剪和分支聚类方法对模式树(FP-Tree)进行裁剪,从而减少噪音产生的冗余分支。实验证明,Z-Miner的挖掘性能相对经典挖掘方法提高10-67倍。而Z-Miner挖掘结果指导的数据预取使平均响应时间下降26%-66%,优化效果是经典挖掘方法的两倍。   2.数据块关系指导的缓存替换方法BDP(Block-correlations Directed cache replacementPolicy)。利用数据块关系指导缓存替换需要解决数据块关系识别、预测和减少预测失败惩罚几个关键问题。BDP使用时间戳方法识别访问流中按数据块关系进行访问的请求;利用历史访问信息和实时访问信息预测数据块未来的空间局部性特征;根据预测结果决定数据块的替换策略,减少预测失败带来的惩罚。本文同时给出了BDP缓存模型,优化BDP的参数配置。BDP的失效率相对LRU算法下降11%-38%,平均响应时间下降13%-31%,优于现有的考虑空间局部性的替换算法。   3.数据块关系指导的多副本数据分布技术。同一数据块可能存在多种数据块关系,导致用来顺序分布的数据块集合规模过大,使预取效率下降和磁盘负载增加。本研究提出了多副本数据分布技术,分析模式树获得适合数据分布和预取的副本集合,使数据块在磁盘上存在多个副本。在应用访问时选择合适的副本进行预取。多副本数据分布技术在保证预取效率的同时控制预取的数据量和预取的I/O次数。使用多副本数据分布技术可以使平均响应时间下降4.6%-13%。
其他文献
数据库系统的安全对于信息安全有着至关重要的影响。目前数据库安全主要依靠身份验证等自身的安全机制,而数据库入侵检测的研究尚处于起步阶段,本文的研究重点放在闭合序列模
人脸表情在人们日常生活中起着重要的作用,是人们非语言交流的一种重要方式。人脸表情是是情感的主要载体,传达了人机交往中的大部分信息。表情是智能的体现,长期以来表情一直是
当前社会对个人身份的安全性要求逐渐提高,依赖于人体固有生理特征的生物识别技术在各种身份认证领域得到广泛的应用。指纹识别技术由于其个体唯一性、稳定性和简单易操作性
普适计算作为一种新型的分布式计算模式,反映了人们对信息服务的更高需求,展现了信息空间、物理空间及用户空间三者无缝融合的前景,是计算机技术发展的必然趋势。   普适计算
近年来,P2P技术受到人们的广泛关注。在P2P网络中所有的节点均是对等的,各节点具有相同的责任与能力并协同完成任务。然而P2P网络的开放性和匿名性使得P2P系统的安全问题变得
随着网络技术的发展,Web技术日益成熟,Internet收集了海量的信息资源,这些资源具有异构、更新变化快、分布分散而且结构松散等复杂特性,传统的数据库技术不再满足数据管理的
作为一种传统医学,中医学已有数千年的历史。在中医发展的几千年过程中,积累了很多治疗病症的方剂。方剂数目庞大,涉及的药物也非常多。如何利用这些海量信息为防治疾病提供科学
入侵检测是一种积极主动的安全防护技术,它可以监视主机系统或是网络上的用户活动,发现可能存在的入侵行为。但由于我国入侵检测技术研究起步较晚,目前入侵检测系统依然存在
无线传感器网络由部署在监测区域内的大量廉价的传感器节点组成,各个节点之间通过无线通信方式自组织形成网络系统,协作地进行感知、采集和处理周围环境或感知对象的信息,并
普通的分组检测仅仅检测分组的头部,深度分组检测(Deep Packet Inspection)有时也称为完全分组检测,属于应用语义级的检测。随着计算机网络的发展,网络的功能正逐步从简单的“浅层