基于对象的主动存储关键技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:a683999700
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机和互联网的迅猛发展,网络存储应用现了一些新特点:数据总量爆炸性增长的趋势越来越快,存储管理和维护的自动化和智能化程度要求越来越高,多平台的互操作性和数据共享能力越来越重要。网络存储正发生着革命性的变化,基于对象的存储应运而生。基于对象的存储将存储接口作了根本性的改变,提出了对象接口,由此克服了块接口与文件接口的缺陷,使得对象存储系统在安全性,数据共享,可扩展性及性能等方面能做到最好的折中。对象接口访问的基本单位是对象,对象除了包含用户数据外,还包含能描述对象特征的属性。通过在用户和设备之间传递对象属性信息,对象接口比其他接口具有更为丰富的语义表达能力。随着电子技术的发展,存储设备上已嵌入了越来越多的处理能力,上层应用的部分功能可以迁往设备(即“主动存储”的概念)。目前广泛流行的存储设备是“哑设备”,只能被动地响应用户的请求,随着设备功能越来越复杂,传统的对设备透明的管理方式已很难胜任。人们迫切需要一种设备参与在内、更简单灵活的方式来管理,而主动存储能很好地满足这些应用的需求。另外,由于硬磁盘本身机械运动的本质特征没有明显改变,在网络存储条件下网络延迟不能忽略,特别是网络共享跨越了广域网,如何提高处理节点和存储节点间的数据传输速率成为当前提高系统整体性能的关键因素。主动存储系统能够在很大程度上解决该项难题。可以说主动存储系统代表着将计算向数据移近的发展方向。但在对象接口出现之前,原有设备使用的接口是一种简单透明的接口,这妨碍了设备端和用户端的任务合作。对象接口的出现加速了主动存储的发展进程,主动存储可以利用富于表达力的对象接口将更多的信息在设备端和用户端之间传递。可以说对象存储与主动存储的结合将是未来存储界领先的技术之一。基于对象的主动存储系统(OBASS)结合了对象接口与主动存储的优点,主动存储将建立在对象基础上,所有信息都以对象的形式出现。OBASS的基础是基于对象的存储设备(OSD),在软件层次上,OSD主要分为三层:对象层、主动服务层以及存储质量控制层。对象层统一管理所有对象,负责对象的磁盘数据组织(包括磁盘内对象数据布局和磁盘间的对象放置)。主动服务层实现了主动存储功能,上层应用把功能模块下载到OSD中后作为特殊的对象(方法对象),由对象层存储与管理,由主动服务层调度方法对象执行。存储服务质量控制层对所有层次模块的执行过程施加影响,使OSD在不同的负载状况下能满足不同用户的对象读写QoS要求。磁盘内的对象数据组织即对象文件系统,其中一个重要的特性是性能的持久性,即对象文件系统在长期的使用的过程中,经历了频繁的对象创建、删除和写操作后,其性能仍然能够维持在较高水平。性能持久性是通过柔性空闲空间管理和分配粒度可变的渐近空间分配策略实现的。磁盘间的对象放置策略研究对象在多个磁盘间的放置,使得整个系统性能达到最优,负载得以均衡。不同的应用放置策略是不同的,对于流媒体应用,适用的放置策略是基于阻塞概率模型的放置策略;而对于事务处理,基于响应时间模型的放置策略更合适。对象放置策略应能运用于在线环境,但在线运行时负载特点是无法事先预料的,利用OSD的智能性及对象的属性,对象放置策略可对负载的特征进行自主学习,并根据学习的结果指导对象放置。为实现基于对象的主动存储,首先对现有的T10 OSD标准进行修改,扩充对象概念引入方法对象使其支持主动存储。方法对象的执行有两种方式:一种是外界用户的请求触发执行,另一种是条件满足时的策略触发执行。主动服务层建立了统一的框架,把这两种方法的调度机制有效结合起来,支持计算任务与管理任务向OSD迁移。方法的执行机制是主动存储的核心,针对过滤型方法和服务型方法这两类不同方法,分别提出了在Linux系统下的实现机制。为评估主动存储的效能,将这两类方法分别运用于两种不同应用:OSDFS文件系统及对象存储系统的负载均衡。在OSDFS中,两种常规操作lookup和unlink作为过滤型方法下放到OSD中,分析表明,这可以大大减少网络延迟和内存拷贝。而负载均衡算法可以作为服务型方法运行在OSD中,实验表明,启用对象复制和对象迁移的负载均衡算法能最大程度地减少平均系统响应度。存储服务质量控制分三个层次实现QoS:上层调度器实现对象请求调度,从对象级保证QoS;中层调度器实现对象预处理,与对象文件系统及缓存结合,对于对象读,通过对象的预取,对于对象写,通过页面预分配、延迟空间分配及延迟写保障对象读写的QoS;而下层调度器与Linux I/O子系统中的块I/O调度器结合,综合考虑带优先级的实时负载以及非实时负载的调度,即考虑I/O请求的时限,磁头定位时间和优先级三个因素在内的I/O调度。将OSD的QoS调度模块(OIS)与Linux系统中其他的调度器进行了比较,结果表明,对于实时读操作,OIS引起的延时抖动比其他调度器至少小1个数量级;而对于写操作,至少小2个数量级。
其他文献
对于任何一个国家和地区,为了提高经济增长的速度和质量,都必须要对金融市场进行宏观调控,而货币政策无疑是最直接最有效的一种调控手段。本文研究的是金融市场中的债券这一
随着隧道工程的发展,隧道交叉穿越的情况越来越多,隧道的规模亦越来越大,如何减少隧道穿越施工对已建隧道的影响亦成为目前研究的重点之一。本文以上海沿江通道盾构施工下穿
<正> 当前,我国企业面临的内外部环境是瞬息万变的。作为一个企业和一名企业家,应随时感受到身边的变化,而且知道什么在变,自己如何去适应这种变化。管理创新已成为企业在激
随着在线交易越来越普遍,Internet上涌现出大量的电子商务服务。但是,这些电子商务服务还不能满足人们希望对灵活性的需求。基于agent的电子商务中的电子谈判问题是电子商务
电汇和信用证是国际贸易结算之中最常用的两种方式,电汇分为预付和到付,信用证分为即期和远期,但是不论信用证话还是电汇,在实际操作之中都有一定的风险,如何有效的规避风险
自主学习能力是当代医学生必须具备的重要能力。自主学习能力的培养,有利于促进学生创新思维和创新能力的提升。结合医学基础化学课程的教学,探讨了培养医学生自主学习能力的重
失压是电能表计量故障的一种常见情况.失压状态下,电能表对应计量元件无法正常工作,导致整体计量失准,少计部分电量.常见的追补电量计算方法有电量比和电流比2种估算方法,但
期刊
目的:通过研究打顶和杀青后出土肉苁蓉各生长阶段有效成分的变化,探索打顶和杀青方式对肉苁蓉有效成分含量的影响规律。方法:以出土期、显蕾期、初花期、盛花期采集的打顶肉
对自然恢复下4类不同年代样地的灰渣养分含量及重金属含量进行研究,通过对比分析发现,有机质、全氮、全钾、金磷含量随着自然恢复时间的增加呈现递增的趋势,全磷含量在各恢复阶