批量文件聚合迁移方法设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:canoe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据存储规模的日益增长,无论日常在移动设备间进行文件拷贝,还是在数据中心内多节点间进行大量的文件迁移,都会涉及大规模文件的迁移操作。然而,传统的文件迁移方案,无论是设备间还是网络间,本质上是调用底层文件系统基于单文件的读写系统调用,从而实现文件的具体读写。因此,批量处理文件集,实际在底层文件系统对于所有文件进行串行读写操作,由于每个文件都需要存取元数据和数据I/O,从而导致大量分散且随机的I/O,导致整体存取效率下降。通过实验和形式化方法分析出传统批量文件存取机制性能低的原因,提出一种将批量文件聚合迁移的方法BFM(Batch File Aggregated Migration)。该方法的核心思想,将文件集中所有文件的元数据和数据处理流程分离,分别聚合处理元数据和数据;在此基础之上,根据文件集数据的实际存储布局,得到最合理的I/O读写顺序,尽可能合并出连续的大段I/O。据此,BFM在内核中实现了批量读写接口BFM-r和BFM-w;并设计了三个关键优化技术,包括基于地址感知的读调度,基于顺序表的统一地址管理,以及分段可靠保障机制,使BFM在保证可靠性的同时,能减少大量的离散I/O。BFM方法也拓展到节点间的数据迁移,结合聚合传输、批量确认策略,有效减少了网络通信的开销。该方法已经在广泛使用的Ext4文件系统上实现,实验证明,该方法在磁盘间和网络间的数据迁移速度分别能提升98%和432%;同时,读写I/O数量可以分别降低至21%和64%。
其他文献
生物质能一直是人类赖以生存的重要能源之一。在当今世界能源危机的背景下,生物质资源的开发利用越来越受到人们的重视。利用光催化剂将生物质经光催化反应重整而获得氢能是
γ能谱分析与识别技术在核安全保障领域应用十分广泛,例如核事故监测、核武器核查、防止核扩散和核恐怖中的敏感核材料识别等等。核材料中的放射性核素在衰变过程中会伴有γ
作为明中期出色的理学家,何瑭的文学创作受其哲学思想及文学复古运动的影响表现出一定的独特性。本文对何瑭的文学创作进行全面观照,以万历四年(1576)贾待问本《何文定公文集
人体三维姿态重建在影视制作,游戏和人机交互领域有很多应用,但是目前工业界中成熟的商业化解决方案大部分依靠动作捕捉系统来实现三维姿态重建的,这种方案成本高昂,使得这种
随着信息技术的飞速发展,网络空间安全问题日益严重。而传统的安全防御技术只有在获取攻击特征等先验知识的基础上才能生效,无法有效应对目标系统中的未知漏洞、后门等未知安
目的:探讨应用低黏度骨水泥联合经皮椎体后凸成形术(PKP)治疗骨质疏松性椎体压缩骨折的临床疗效。方法:回顾性分析自2017年1月至2018年1月,应用低黏度骨水泥联合经皮椎体后凸成形术(PKP)治疗的62例骨质疏松性椎体压缩骨折。比较术前、术后3d、术后6个月的伤椎椎体前缘高度、伤椎椎体矢状面Cobb角、疼痛视觉模拟评分(visual analogue score,VAS)及Oswestry功能障
近年来,云计算、虚拟化技术被广泛应用,在一台主机上搭载多台虚拟机,针对不同用户提供多种服务成为一种趋势。随着技术的推广,各种安全问题逐步暴露。相对于传统的物理主机,
陶安,元末明初理学文人代表之一。其诗文既不乏元明易代文人创作的整体倾向性,同时亦不失个人特色。本文以陶安诗文为主要研究对象,又以《陶学士先生文集》为主要研究文本,力图把握陶安诗文创作的特点,同时对其文学思想作深入分析。并以元末大背景作为时代参照,对陶安生平、创作进行更深刻的研究。本文共分为五章。第一章,主要对陶安的生卒年、生平经历、著述进行考证和补充。陶安先隐后仕的人生经历,可谓元明之交一类文人的
传统的基于单一模态的信息搜索方式,例如关键字搜索,以图搜图等,已经逐渐无法满足人们的实际需要。如何把网络上的多模态信息进行整合,将语义一致的信息关联起来,从而发掘出
各类生物特征被广泛应用于身份认证与识别领域,方便了人们的生活。嘴唇特征,作为一种新型生物特征,能提供讲话人身份的充分信息,同时具有采集设备简单,采集过程对用户友好等