分级存储中数据迁移机制的实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:zuiaiyunhao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分级存储的设计初衷是将数据按访问热度的不同存储于不同性能的存储设备上,最大化存储利用率。当数据的热度发生变化时,便将数据迁移至更符合其当前热度值的存储设备上。因此,对于分级存储系统而言,设计对前台应用透明、高效的数据迁移机制具有重要的研究价值。迁移过程主要分为三个模块来设计:热度统计模块、策略匹配模块以及数据迁移模块。热度统计模块在通用块层实现访问频度计数,支持基于访问频度与时间权重值的热度评价。策略匹配模块建立可定制的策略规则和通用规则,设计了基于物理卷(PV)占用率的阈值动态调整算法和基于存储节点负载均衡的PV申请算法。数据迁移模块实现三种能够断点续传的数据迁移算法:(1)将读取的源卷数据块写入目的卷对应数据块的简单数据迁移算法(SCP);(2)基于Device-mapper中内核复制线程(kcopy)并实现数据一致性的数据迁移算法(I-kcopy);(3)基于SCP迁移并实现读写并行的数据迁移算法(RWCP)。另外,为保障迁移后数据的一致性,设计并分析了基于记录-写策略的一致性方案,以及基于分段处理的一致性方案。具体实现了数据迁移机制的原型HSDM_COPY,并对其数据迁移速度及数据迁移过程中对用户性能的影响两个方面进行测试。实验数据表明,在高负载强度的情况下,数据迁移使磁盘吞吐率下降10%~25%,在正常情况下,数据迁移基本不影响用户对系统的正常访问。
其他文献
云计算是将存储资源、计算资源以及软件服务通过Intenet提供给用户的一种计算模式,用户不必去关心各种硬件和软件资源。在云服务计算模式中,针对云服务的大规模性、高复杂性
随着多媒体社交网络(Multimedia Social Networks,简称MSNs)的快速发展,用户和数字内容的“爆炸式”增长,方便了用户对数字内容的访问,同时也增加了大量的用户与用户,用户与
随着计算机网络与多媒体技术的迅速发展,人们可以轻易地对数字图像进行篡改及散布。图像信息的完整性、内容的真实性等安全问题已成为亟待解决的问题。因此一种确保图像数据真
云影音智能终端是将个人媒体内容与互联网结合起来,使得所有的媒体内容都可以通过高清平板电视观看的一款三网融合的产品。在云影音智能终端中有海量的音视频资源,用户需要高效
压缩感知是作为一种新的采样理论,根据信号的稀疏特性,利用远低于Nyquist采样率来获取信号的离散样本,并能够通过非线性的重构算法无失真地恢复出原信号。压缩感知理论的出现
随着世界范围内人口的膨胀和城市的发展,出现了越来越多人群密集的公共场所。这些场所在提供人们生活便利的同时,也为犯罪活动提供了地点。因此,公共安全是全世界面临的一个刻不
克隆代码进化研究以软件的多个版本为基础,通过克隆代码检测及跟踪来获取克隆代码进化信息。克隆代码进化研究对于了解克隆代码特征,维护和重构克隆代码、评价克隆代码有害性以
随着互联网的高速发展与不断普及,越来越多的敏感信息在互联网第三方站点上存储与共享,例如云存储和云共享。通常情况下,这些敏感信息并不是以加密的形式进行存储,对敏感信息
近年来,无线传感器网络(Wireless Sensor Network,WSN)相关技术取得了巨大的进步,被广泛应用于军事、医疗、环境等领域。然而,由于传感器节点常被部署在开放环境中,而且其资
近年来随着Android操作系统在各种电子移动终端设备中的迅速普及,数字电视机顶盒采用Android操作系统已经成为目前主流的发展趋势。电视机顶盒的人机交互操作主要依靠遥控器上