基于应用层访问模式的存储系统性能优化技术研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:magicglf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于应用行为分析的优化方法是计算机系统性能优化研究的重要内容。存储系统对访问模式的敏感性,使得基于存储模式进行性能优化的方法尤为重要。但随着存储规模的扩大,高密度IO产生的海量访问信息对模式挖掘的高效性提出了挑战,同时集中式存储系统中高度IO并发造成的应用语义干扰,以及存储系统的层次复杂性造成的语义损失对存储模式的准确分析构成极大挑战。现有基于存储模式的研究中对存储模式的表达并未考虑存储系统特性,无法有效对应用IO行为进行描述。同时现有模式挖掘算法的开销过大,难以在大规模存储系统中实用。此外现有基于模式的优化研究中,其模式挖掘数据结构基于离线挖掘设计,无法满足系统实时在线优化的要求。   本文结合上层应用语义及底层存储系统特性,提出了一种新的应用层存储模式定义,以及基于此的高效模式挖掘算法。然后提出了基于此模式的针对性优化技术及一种高效可行的存储系统流式优化框架。本文的主要贡献和创新点如下:   1.一种新的应用层存储模式定义。本文针对存储系统特性提出了一种反映应用层语义新的存储模式定义SPA。同之前研究中设备层模式相比,SPA在更准确获取应用语义的同时基于存储特性对模式表达进行了简化。其使挖掘算法的理论复杂度由NP降为O(n2)。测试结果表明SPA对应用访问的相对覆盖达到92%,并有效避免了设备层模式由序列分割及并发干扰引入的模式损失。   2.应用层模式的高效挖掘算法FPG-Grow。本文提出了一种基于SPA的高效挖掘算法FPG-Grow。其创新性地采用图结构对存储模式进行挖掘,避免了对序列的多次扫描。同时利用模糊频度模式来简化挖掘目标,避免了频度检验带来的性能损失;测试结果表明,FPG-Grow相比C-Miner在挖掘性能上有2~3个数量级的提升。挖掘开销的显著降低使FPG-Grow具备了对大规模存储系统中存储模式挖掘的可行性。   3.基于应用层模式的优化技术。本文提出了一种基于SPA的数据分布技术,其通过顺排和聚集将模式数据集按访问顺序重分布到磁盘上。使应用的IO响应时间平均减少20%。同时通过与预取技术的结合实现了系统过载情况下的预取技术PAO。其有效避免了传统预取在过载情况下的副作用,同时使系统响应时间相比传统预取降低了27%。   4.基于应用层模式的存储系统流式优化框架。基于FPG-Grow特性对流式优化的支持。本文利用FPG的增量更新特性及模式生长与使用可并发的特点,提出了基于应用层模式的存储系统流式优化框架。与静态优化相比,基于FPG的流式预取可使系统响应时间降低27%,同时其引入的时间开销很小,基本对当前IO无影响。
其他文献
近年来随着云计算的迅速发展,“计算即服务”的理念与客户机/服务器(C/S:Client/Server)计算模式得到越来越广泛的应用。计算资源通过在不同层次上的封装,以服务的形式提供给最终
学位
目前软件技术在生产环境中的应用越来越广泛,在为我们提高生产速度的同时也为我们带来了前所未有的难题,过于臃肿的软件系统和日益变化的需求是目前软件面对的重大挑战。如何
大气CO2作为主要的温室气体,对温室效应及气候变化有着重要的影响,研究大气CO2变化规律以控制其排放,具有重要的意义。但是,由于CO2在大气中的浓度和梯度都比较低,导致对它的
学位
随着信息化的发展,海量存储的需求日益增长。提供海量存储数据管理功能的机群文件系统正受到学术界和产业界的广泛重视。由于海量存储应用具有超大规模文件管理和超大规模数据
Windows Rootkit最早可追溯到DOS时代的木马程序,当时DOS系统的安全机制本身很不完善,因此Rootkit作为恶意软件的辅助工具并未受到攻击者的重视。1999年,以GregHoglund发布NT Ro
文本相似度计算主要是通过建立算法模型计算两个或者多个文本信息之间内容、语法、结构的相似程度,它是实现文本信息处理的一项关键技术,很多重要的研究应用都与它相关。文本
如今,互联网高速发展,网络应用已经从传统的网页浏览、电子邮件、IM即时消息,逐渐多元化。带宽的扩大以及技术的进步可以使得用户从互联网上获取更多的信息,互联网用户逐渐不
随着互联网的普及和电子商务的迅速发展,网络信息过载已经成为目前网络用户所面临的一个严重问题,用户在海量的产品信息中难以找到所需的商品,因此电子商务推荐系统应运而生
众所周知,地理学家进行复杂地理问题分析与求解的地理建模工作是一项复杂而艰巨的工作。此外,由于地理模型的跨领域性、使用广泛性等特点,造成了地理模型在模型种类、实现形
视频监控系统作为一种安防的有效手段,正越来越受到人们的重视。随着监控需求的增加和技术上的发展,视频监控系统已经不再是单纯的监视画面的传递储存设备,而是向着智能化的