论文部分内容阅读
随着“大数据”和“云计算”时代的到来,数据存储服务越来越受到关注和重视。目前云存储技术的不断发展,用户规模的日益扩大,数据量的指数级增长,给数据中心带来了繁重的工作压力和巨大的能源消耗。能源管理问题已经成为目前数据中心高速发展所面临的巨大挑战,过度的能源消耗带来了高昂的电力成本,同时也导致了二氧化碳排放量的增加,加剧了温室效应。近年来工业界和学术界提出了很多新型的能源管理技术,但目前的能源管理技术大部分仅注重节能效果,并未过多关注存储系统中本身的能耗建模及度量。存储系统能耗建模及度量的研究一方面可以获得较为精准的能耗模型,实时的预测存储系统中的能耗变化,便于统计当前能耗管理技术的节能效果;另一方面可以合理的预估电力成本的增长趋势,有效的降低电力及附属部件的预算投入。因此,存储系统能耗建模及度量的研究变得越来越重要。本文对存储系统中主流存储部件的能耗建模及系统级的能耗度量方法进行了深入研究,提出了基于统计量的磁盘能耗建模方法和基于能耗梯度的闪存盘能耗建模方法,这两种模型是基于存储部件的本身工作原理,具有广泛的通用性和良好的预测精度。并且这两种能耗模型都不会给系统带来额外的采集开销,适用于在线及近线的能耗预估。本文提出了一种存储空间利用率及静态能耗的分析架构,用于多数据管理技术结合应用的云存储环境下空间及电力成本的预估和度量。结合传统磁盘及固态硬盘的能耗模型,提出了一种基于能耗均衡的能效分析方法用于衡量存储系统的动态能耗,并且可以解决混合存储环境下,传统能效理论衡量能力不足的问题。本研究得到国家"八六三"高技术研究发展计划基金、国家自然基金项目的支持。本文的研究内容及创新点主要体现在以下几个方面:(1)提出了一种基于统计量的磁盘能耗建模方法,这种方法适用于数据密集型的访问环境,可以通过在线或离线的方式分析磁盘的实时能耗,与传统的粗/细粒度磁盘能耗建模方法相比,该方法不需要采集复杂的磁盘内部细节活动,也不需要分析IO操作流程的能耗,仅需采集存储系统中特定时间粒度的统计量作为建模参数,且预测精度与细粒度模型近似。与传统的粗/细粒度模型不同的是,这种方法主要关注如何利用磁盘的统计量来确定磁盘内部活动特征,再从内部活动特征去估计磁盘能耗。由于这种建模方法是基于磁盘的一般性原理,具有良好的通用性,从实验验证结果来看,这种建模方法在能耗预测上的平均误差在3%,最大误差在5%,基本达到了细粒度模型的精确度。(2)提出了一种基于能耗梯度的固态硬盘能耗建模方法,有效的提升了SSD的能耗预测精度。这种方法根据SSD内部闪存芯片的层次结构及工作原理对SSD在读写过程中的能耗产生原因进行了分析和建模,将SSD内部的交错性及并行性作为建立能耗梯度列表的依据,使用测算结合的方法获得固态硬盘的能耗梯度列表,再根据能耗梯度去预测SSD的即时能耗。该建模方法所用的采集方法不会对系统带来额外的性能开销,适用于在线以及离线的SSD能耗预估。从实验结果来看,与传统的线性能耗模型相比,该建模方法在读写操作的能耗预测精度上都有显著的提高。(3)提出一种使用存储利用率分析框架来度量系统静态能耗的方法。针对现有研究大部分只注重数据中心CPU和网络资源利用率的优化,较少关注存储系统本身资源利用率的问题,分析存储系统整体资源利用率的层次划分并给出了相关的度量方法,提出了存储空间利用率的度量指标,同时给出方法来分析不同技术对存储利用率以及存储系统中静态能耗的影响,实例分析证实本文提出的方法可以有效的分析存储系统中资源利用率水平以及合理的度量存储空间中静态能耗需求,为数据中心存储设备的购置和预算提供参考。(4)提出了一种基于能耗均衡的能效分析方法,弥补了传统能效理论在混合存储架构中度量能力的不足。通过基于统计量的磁盘能耗模型与基于能耗梯度的SSD能耗模型推导出存储系统中存储单元的性能与能耗之间的对应关系,使用能耗均衡方法对存储系统的节能特性进行了分析,通过理论推导与实验验证的方法归纳出异构的混合存储系统中整体的能耗行为特征和存储系统中能效提升的条件。针对传统的能效度量在混合存储系统适用程度受限的问题,提出一种自对比的能效度量方法,不仅可以纵向对比混合存储系统自身的能效增减,还可以横向对比多种混合存储架构及应用策略的节能效果。