论文部分内容阅读
近几年来,计算机科学技术和网络技术快速发展,产生了大量的数据,并且产生数据的速度也在快速增长,经过长年积累,系统后台留下了海量数据。这对传统的数据处理形式提出了挑战,数据的多节点复制同步和迁移成为了一个重要的问题。由于网络的异构性和网络相关的应用多样性的特点,最终在硬盘上形成的数据文件数量巨大,这些数据文件进行同步复制和迁移到不同的处理节点上的效率在很大程度上限制了数据处理任务的总体进度。现有的文件数据迁移处理方法一般是通过差异传输方式减少数据量,通过压缩技术来减少传输量,通过一些加密措施来保证传输安全性,并且一般通过B/S的结构来实现文件传输服务。传统的处理方式缺少有效的针对传输过程的速度优化方式,特别是在最终的待传输数据的处理上,缺少高效的大规模传播策略和措施,本协议的设计将针对最终数据的传输过程进行改进和优化,通过分布式自主协商的算法和流程设计,实现动态源节点扩张机制,通过自动协商选举机制实现区域自治管理,通过集群代理角色机制实现数据的跨公网多集群间进行同步和迁移。这些过程实现大量的不同类型的数据文件在多个集群之间进行快速同步和迁移,提高各节点上的带宽利用率。由于存在分布式协商,会有的额外开销的代价,但是当待传输的数据量巨大,以及待传输节点的规模巨大时,能够很好的表现出该协议在性能和效率上有较大改进和提升。该课题的研究内容是在常见分布式文件系统理论基础上,研究和设计新的分布式文件传输框架和协议以及协议中的分布式协商和传输算法。使之在复杂的网络结构下自适应和弹性扩张,实现集群内部同步,集群间同步以及单点对集群的跨网同步效率的提升。本文首先对协议进行设计与实现,然后在实验环节通过与几个主流使用的传输协议进行性能上的对比测试,来验证协议在性能效率上有较大的改进和提升。