云文件同步系统关键技术研究与实现

被引量 : 0次 | 上传用户:alexiss
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着金山快盘、Dropbox、EverNote等云存储应用快速兴起,云计算开始真正融入人们的日常生活。实现高可用的云存储应用的关键技术之一,是如何解决用户数据在多个设备之间的同步问题。随着用户规模的逐渐扩大,并发访问量递增,存储容量需求爆炸式增长,云存储系统势必面临极其严峻的考验。开发与合作是当今互联网的主题之一,云存储系统对外开放亦是大势所趋。本文设计并实现了一个安全可靠、可扩展的云存储子系统,称为云文件同步系统。并为该系统开发了云网盘客户端程序和设计了REST架构风格的开放API。此外,还对云环境下的文件同步算法这一关键技术做了深入的研究,提出了一种基于文件元数据集合的多设备文件同步算法。本文主要工作包含以下四部分。云文件同步系统的整体设计。通过引入负载均衡技术和MongoDB分布式集群技术,提高了该系统并发处理能力和带故障正常运行能力。整体设计能够满足安全可靠、可扩展的基本要求。多设备文件同步算法实现。在云环境下,文件同步参与者之间呈现星形的拓扑结构,中央节点是提供文件存储服务的云端,连接中央节点的是各种客户端。假设仅有一个客户端,那么通过比对该客户端或云端上次同步完成和本次同步开始这两个时间点的文件元数据集合,可以得到云端和客户端的文件变化,进而合并云端和客户端文件变化得到最终的文件变化,最后应用文件变化即可实现该客户端与云端的文件同步。此处的获取文件变化的过程描述起来很简单,实际情况处理起来却是异常棘手。不过,经过一些巧妙的抽象和反抽象后,整个获取文件变化的过程变得非常简便。进一步将情景抽象为同步时间独占、客户端与客户端关系确定为松耦合,使得每个客户端和云端的同步操作看起来都是独立的,从而可以将多个客户端与云端的文件同步问题都看成是之前假设的单个客户端与云端的文件同步问题。云文件同步系统的工程实现。主要工作包括基于Jersey框架的REST架构风格Web服务程序的开发和供用户使用的的云网盘Windows客户端程序的开发。云文件同步系统的部署与测试。部署指的是将该系统部署到实际生产环境曙光6000超级计算机上。该系统的所有数据最终都保存在ParaStor上,测试则指的是用基准测试工具YCSB对MongoDB和ParaStor协同工作时的性能测试。经过工程应用的实际检验,该云文件同步系统基本上可以正常工作。
其他文献
随着教育信息化的快速发展,高等院校的信息化基础设施建设已日臻完善,大多引进了网络教学平台,建设了众多国家和省级精品网络课程以及多媒体资源库等。然而,这些花费巨大的人力和
为给植物生长调节剂烯效唑(S3307)的推广应用提供理论基础,以大麦为试验材料,通过喷施S3307和盆栽的方法,探讨了S3307对植物抗盐性及植株水平上Na^+、K^+选择性和游离脯氨酸分配的调
反求工程起源于20世纪60年代,但是对其在工程制造方面的广泛应用和深化研究还是开始于20世纪90年代。随着计算机技术的飞速发展,在反求设计中采用计算机辅助设计技术可以大大缩
虚拟试验支撑平台(HIT-TENA)是哈尔滨工业大学自动化测试与控制研究所自主研发的虚拟试验仿真和验证平台。我国试验靶场及国防工业部门现存大量试验设备,联合使用计算机工作站和
“自身免疫性疾病”是免疫系统对机体自身的成份发生的免疫反应,造成损害而引发疾病。常见的自身免疫皮肤病有:系统性红斑狼疮(systemic lupus erythematosus, SLE)、大疱性类天疱
随着我国汽车行业的发展,工业机器人被大量应用于汽车的喷漆、热处理、焊接等高危繁重作业中。工业机器人的核心部件就是转臂驱动装置,RV减速器因其体积小、回差小、刚度高、寿
自动人脸识别是依据人脸图像的几何特征或者统计特征通过计算机自动地完成人物身份辨识的过程。近年来,人脸识别已经成为诸多领域(如计算机视觉和模式识别)的研究热点问题,具有重
基于节能和环保的要求,电动汽车的研制和改进已经得到世界各国越来越多的关注。而作为电动汽车研制的关键技术之一,高性能电池充电装置的研究及其与智能电网的结合管理,也得到了
遗传性牙本质发育异常(Dentinogenesis Imperfecta DGI)是一种常见的人类牙本质遗传性疾病,主要局限于牙齿中胚层及牙乳头发育异常的一类疾病,其发病率为1/10000-1/6000不等。Shi
在街上偶然买到了一张《讽刺与幽默》,上面一幅漫画吸引了我。画面上是一个戴着帽子的人头像,虽然有些夸张,但一眼还能辨认出来。令人惊讶的是,在耳朵的位置画上了一张咀,而
期刊