基于阵列的精简复制技术研究

来源 :中国航天第二研究院 航天科工集团第二研究院 | 被引量 : 0次 | 上传用户:wubo123321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络技术的飞速发展加速产生了大量重要数据,对这些数据的存储和保护需求已达到PB级别。尽管数据成指数级别增长,但研究表明,冗余数据大量存在于信息处理和存储的各个环节,如内容分发网络、web应用以及文件系统和操作系统中。对这些数据的保护如周期性备份、镜像、快照、持续数据保护和复制等更是加速了冗余数据的增长,导致网络带宽紧张以及系统成本的上升。为了消除数据保护过程中通过网络传输的冗余数据,提高复制效率,降低成本,精简复制技术已经成为一个备受关注的研究课题。   本文针对现有远程异步复制系统未消除复制流中的冗余数据,复制效率较差的问题,提出了一种两级冗余消除的精简复制架构。该架构在设备驱动层采用基于内存日志的重复块过滤方法消除复制流中同一数据块的多个版本,在主机接口驱动层采用基于指纹比对的复制数据流精简方法消除复制流中内容相同的数据块,有效精简了远程异步复制流中的冗余数据,具有良好的复制效率。   现有的远程异步复制系统使用磁盘日志形式记录数据更新信息,然后在数据提交到发送队列时扫描待发送缓冲区中的数据,过滤掉同一个数据块的多个版本记录,此方法需要从磁盘中读取日志记录,且当队列比较长时,消耗比较长的发送准备时间。为此,提出了一种基于内存日志的重复块消除方法,在内存日志记录数据更新信息时,只记录同一个数据块的最近更新记录,从而在日志阶段消除复制流中同一数据块的多个版本,该方法既节省了内存日志容量又减少了复制进程需处理的数据量。   提出了一种基于指纹比对的复制数据流精简方法,该方法在复制系统的主端记录热点数据指纹信息,在数据发送前对复制流进行过滤,对发送缓冲区中的数据进行去重处理,该方法节约了网络带宽。   实现了两级冗余消除精简复制机制,在原型系统上的测试结果表明,与未实现精简复制机制的复制系统相比,两级冗余消除精简复制机制可以精简复制流中15%~40%的冗余数据,有效提高复制效率。
其他文献
目前,大量分散的、异构的空间数据的存在已成为空间信息共享的瓶颈,如何实现多源异构空间数据的集成与共享,成为当前地理信息科学领域研究的一个热点和难点问题。   与目前传
目前,影像处理面临着高速化、复杂化、数据量大、信息量丰富的前所未有的挑战。这些挑战致使影像处理不能拘泥于传统的思维--串行。在计算速度、快速响应的实时要求或者不可替
随着当前的电子采集设备如RFID(Radio Frequency Identification)、传感器等的广泛应用及其高速发展,产生了空前的海量动态数据流。由于复杂事件检测技术能够帮助人们从这些
随着信息技术的飞速发展,GIS(地理信息系统)在国土资源部门的应用也越来越广泛。信息技术已日益成为国土资源部门的主要技术支撑之一,加强国土资源管理,必须在搞好制度建设和
视觉是人类获取外界信息的主要手段之一,但是人们的视觉只能接收正在发生的信息,因此也就不能直接通过视觉来获取已经发生的事情的信息。而三维场景的虚拟构建技术可以实现对
遥感技术作为人们获取地物表面信息的重要手段之一,已经成功地在生态环境监测、地质调查、农作物估产等众多领域取得了广泛应用,并发挥着越来越重要的作用。随着光谱技术的不
隐私CA方案通过引入可信第三方的方式保护用户的隐私,但是存在两点缺陷:一是隐私CA需要参与到方案的每一次交互过程中,成为整个系统的效率瓶颈。此外,如果隐私CA与验证者串通,或
经过近10年机器人比赛系统的发展,轮式和四腿机器人的技术已经逐渐成熟,其策略和控制已经达到了一定的水平,而人形机器人是机器人研究领域的另外一个重要分支,是一个典型的多智能
随着空间数据获取技术的快速发展,空间数据量急剧增加。在这些数据中包含了大量的潜在的有价值的信息,如何有效地管理,利用数据库中的数据,以及怎样才能发现其中潜在的知识,就摆在
软件的复杂性一方面体现在自身规模的庞大和内部控制结构的多变;另一方面,随着万维网的普及和Internet技术的不断发展,以用户为中心、面向服务的网构化软件在应用环境上为软件