大容量缓存预取技术研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:xdh188
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断发展,需要保存和处理的信息量爆炸式增长,应用程序对存储系统的I/O性能提出了越来越高的要求。预取技术作为一种重要的I/O性能优化手段而被广泛地应用于各级存储系统,它使得数据访问能在高速的缓存介质中命中而无需访问后端的慢速存储设备。传统的预取策略都操守,只预取较大概率被访问的数据,且在第一次访问前刚好准备就绪,而这就可能会限制对I/O性能的提升空间。一些更激进的预取策略则会预取更多数据且会更早地进行预取,但传统预取策略认为这会浪费CPU、内存和带宽等资源。然而,随着技术的发展,缓存的容量越来越大,这不仅降低了潜在的资源浪费,而且会极大地提升激进式预取策略的相对收益。   本文在缓存容量逐渐增大的趋势下,研究一种新的较为激进的预取策略。我们首先提出了一种新的基于局部性原则的数据访问模型——稳定集模型,并在此基础上定义了大范围空间局部性。根据我们的稳定集模型进行预取可以有效地利用缓存容量并大大降低缓存缺失率。本文所取得的研究成果包括:   首先研究了大范围空间局部性和传统的顺序空间局部性的关系和本质区别,并分析验证了在大容量缓存下,基于大范围空间局部性的预取技术可以有效地降低缓存缺失率,而这是由它的两个特点决定的:预取数据范围大及预取准确性高。   设计并实现了基于稳定集模型的高效挖掘算法。其创新性地通过集合“分裂”来生成稳定集,同时使用了高效的数据结构,这使得时间复杂度由传统挖掘算法的NP问题降为O(L)。测试结果表明,稳定集挖掘算法可以有效地识别出数据访问关系,且挖掘开销小,具备了在大规模存储系统中在线挖掘的可行性。   设计并实现了基于稳定集模型的数据预取技术,其根据挖掘算法的挖掘结果进行预取。提出了基于数据效用的预取激进度控制策略,并给出了数据效用的量化计算方法,经验证,该策略在各种情况特别是缓存容量较小时,能够有效地平衡预取激进度。同时,本文也给出了稳定集状态的维护方法,实现了在线实时地状态更新。测试结果表明,该预取技术在各个角度的测试中都表现出了明显的优势,相比自适应顺序预取而言,可以将缓存缺失率最低降至1/36。
其他文献
机器人足球是近年来人工智能领域发展较快的一个分支。主要分为FIRA和ROBOCUP两大赛事。本文的研究对象为FIRA机器人足球赛中的Androsot项目。本文对人形机器人比赛Androsot
随着无线通信技术的不断发展,不可或缺的无线频谱资源已成为限制信息社会无线通信与服务应用发展的瓶颈。认知无线电这一解决无线频谱资源紧缺问题的方法成为国内外研究的热点
普通数码相机所拍摄的图像具有大视场图像分辨率低、分辨率高的图像视场小的特点。为了解决视场和分辨率的矛盾,人们提出了图像拼接技术,将反映同一场景的多幅有重叠区域的图像
自主导航能力是移动机器人在”智能”和”自主性”上的重要体现,拥有这种能力的机器人能够在不依赖人类控制的条件下,执行定位和认知活动,从而能够穿越未知的环境而到达目的地。
当今社会很多实际问题都可以归结为大规模的模式识别问题,比如对网页信息的数据挖掘、交通系统客流分析等等。然而对于大规模问题,即使像SVM等高效算法依然难以真正突破这个
随着信息技术的广泛应用和Intenet的飞速发展,网络上的Web服务资源数量急剧增多。基于功能性匹配的服务选择算法在服务资源有限的情况下能比较准确的选择服务请求者满意的服
本文对基于可执行文件的漏洞挖掘和利用技术进行了深入的研究和探讨。安全漏洞(Vulnerability)是网络攻防的关键。先进的漏洞挖掘和利用技术有助于研究者先于攻击者发现安全
本文设计了一个面向实时网络安全处理的密钥系统,该系统能高速地产生高性能的密钥,密钥产生的速度很好地满足了网络实时加密流加密的需求,并且产生的密钥随机性高,能通过FIPS
随着航空技术的不断进步,以及国际形势的发展变化,全球空中交通日趋繁忙和复杂,空域管理面临越来越大的挑战,尤其是在覆盖众多类型航空器的军事应用中。因此,大规模场景下多航空器
信息分布存储系统中需要复杂的访问结构控制以及被保护信息的多种属性标签。在传统系统中,为了实现访问结构控制,由一台服务器明文存储所以信息,并作为控制服务器接受信息的