基于NVM的快速批量文件拷贝方法的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:YX19781987
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前数据存储规模日益增长,单个存储设备和存储系统的容量及寿命有限,因此需要经常在不同存储设备和存储系统之间批量迁移文件数据集。不幸的是,现有方法通过单个文件串行拷贝的模式,导致整体性能急剧下降。因此在保证可靠性的前提下提高批量文件拷贝性能具有重要的研究价值。  针对上述问题,提出利用非易失性内存(Non-Volatile memory,NVM)的可靠性和非易失性优化快速批量文件拷贝性能。利用小容量NVM实现快速批量文件拷贝机制。该方法的实现具体分为三个阶段:预处理阶段、NVM初始化阶段、拷贝阶段。预处理阶段获取待拷贝数据集的元数据和数据大小;初始化阶段在NVM上开辟连续的,固定大小的元数据区域和数据区域,并对其进行初始化;拷贝阶段将源文件数据内容分批读取到NVM的数据区域,然后以大块写方式将数据批量写入底层设备,根据数据在底层的实际地址再修改NVM元数据区域的数据结构,最终将元数据写回到磁盘块设备。在此基础之上设计了轻量级的数据正确性保障策略,在保证数据可靠性的前提下,利用NVM的非易失特性,进一步实现了断点拷贝的功能。  实验表明,该方法在保证系统可靠性的前提下,能够明显提升拷贝操作的速度,平均提升了50.44%,达到了优化系统性能的目的。
其他文献
随着软件及硬件的复制、发布及多媒体数据生成工具的发展,互联网上的音频数据呈跨越式增长,如何鲁棒而又高效的从海量多媒体数据库中搜索用户感兴趣的信息成为近年来亟待解决
人脸识别是人工智能与模式识别的一个重要研究方向,它涉及到图像处理,计算机视觉,模式识别,机器学习等相关的多门学科,它的高可靠性和高稳定性使它广泛应用于信息安全,金融,安全防务
飞机地面空调车温度控制器工作在复杂的外界环境中,外界环境的不确定性和时变性以及工作模型难以确定等因素对温度调节都有影响。应用常规的PID控制方法响应时间慢,抗干扰性
学位
随着大数据时代的到来,面向大数据的存储系统纷纷出现。不断增长的数据量,使得集中式元数据管理系统的负担越来越重,逐渐成为大数据存储的瓶颈。为此,人们提出了多种分布式元
图形处理器(Graphic Processing Unit,GPU)是显卡最重要的组成部分。GPU的出现有效降低显卡对CPU的依赖,同时有效提高了图形处理,尤其是矩阵变换较多的三维图形的处理能力。
大数据时代,互联网每天都会产生大量的数据,利用数据挖掘算法可以从中分析出有价值的数据。在聚类分析方法中,K-means聚类算法是应用最广泛的一种划分方法。该算法简单,且收
单核苷酸多态性(SingleNucleotidePolymorphism)是指在基因组水平上由单个核苷酸的变异引起的一种DNA序列多态性,它改变了基因原来的结构和连锁率,增加了个体的患病率。目前已有
移动对象是指空间位置或范围随着时间的变化而发生变化的事物。基于交通路网的移动对象索引技术广泛应用于城市交通中车辆与行人的位置记录、运动轨迹查询、时空查询、统计管
大规模地形场景真实感建模与绘制是虚拟战场、地理信息系统、三维游戏仿真等领域的基础。随着应用的不断扩展和深入,人们对地形场景的规模、绘制速度及仿真精度提出越来越高的