大小文件跨网络集群快速迁移协议

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:greatbear1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年来,计算机科学技术和网络技术快速发展,产生了大量的数据,并且产生数据的速度也在快速增长,经过长年积累,系统后台留下了海量数据。这对传统的数据处理形式提出了挑战,数据的多节点复制同步和迁移成为了一个重要的问题。由于网络的异构性和网络相关的应用多样性的特点,最终在硬盘上形成的数据文件数量巨大,这些数据文件进行同步复制和迁移到不同的处理节点上的效率在很大程度上限制了数据处理任务的总体进度。现有的文件数据迁移处理方法一般是通过差异传输方式减少数据量,通过压缩技术来减少传输量,通过一些加密措施来保证传输安全性,并且一般通过B/S的结构来实现文件传输服务。传统的处理方式缺少有效的针对传输过程的速度优化方式,特别是在最终的待传输数据的处理上,缺少高效的大规模传播策略和措施,本协议的设计将针对最终数据的传输过程进行改进和优化,通过分布式自主协商的算法和流程设计,实现动态源节点扩张机制,通过自动协商选举机制实现区域自治管理,通过集群代理角色机制实现数据的跨公网多集群间进行同步和迁移。这些过程实现大量的不同类型的数据文件在多个集群之间进行快速同步和迁移,提高各节点上的带宽利用率。由于存在分布式协商,会有的额外开销的代价,但是当待传输的数据量巨大,以及待传输节点的规模巨大时,能够很好的表现出该协议在性能和效率上有较大改进和提升。该课题的研究内容是在常见分布式文件系统理论基础上,研究和设计新的分布式文件传输框架和协议以及协议中的分布式协商和传输算法。使之在复杂的网络结构下自适应和弹性扩张,实现集群内部同步,集群间同步以及单点对集群的跨网同步效率的提升。本文首先对协议进行设计与实现,然后在实验环节通过与几个主流使用的传输协议进行性能上的对比测试,来验证协议在性能效率上有较大的改进和提升。
其他文献
“加密秘密信息并隐藏通信存在的事实”是如今保密通信的提出的较高要求,信息伪装技术是这个领域的十分活跃的研究方向之一。互联网的今天,图像、文本、声音等多媒体作为信息
P2P技术是近年来流行的计算机网络结构,不同于客户机/服务器C/S结构,P2P中所有的节点都是平等的,没有严格的提供者和消费者的区分,网络中也不存在权威中心对这些节点进行管理。开
随着计算机技术的不断发展,门户网站成为人们获取信息、传递信息的主要途径之一。作者首先研究了门户网站体系结构和实现技术,根据某市软件网门户的实际需求,基于UML技术进行
在信息化的今天,互联网已经成为工作、生活不可或缺的部分。无论企业还是个人,都有着迫切的上网需求。而用户访问的第一个服务器就是宽带接入服务器。一方面上网用户数量越来
移动Ad hoc网络是一种无线、移动、自组织的网络,它没有中心控制节点,移动节点通过多跳无线链路实现相互的通信。由于没有中心控制节点,网络中的每个节点必须具备路由器的转
当今世界,迅速发展的信息技术在教学中的应用已经成为满足学生自主学习、分散学习的主要途径,特别是在高等学校学生逐年增加的今天,基于网络的学习指导系统已逐渐显现出不可替代
近年来Internet的规模不断增大,而Internet上的计算机受到的攻击也越来越多,给计算机用户带来了巨大的经济损失。黑客的攻击手段多种多样,常见的攻击方法主要有DDOS攻击、木
在如今这个知识经济的年代里商业竞争日趋激烈,越来越多企业的生存与发展都取决与商务决策的正确性和及时性。只有对变幻莫测的商业市场做快速正确的反应,企业才能具有竞争优
本论文所研究的CS134高速喷嘴试验台计算机测控系统是对高速喷嘴的出口压力、喷嘴工作电压、电流等高速数据进行波形采集及处理。对占空比-流量动态关系曲线进行示波,通过递
能够支持嵌入式系统资源复用、缩短嵌入式系统开发周期、降低产品开发成本的嵌入式系统开发平台是嵌入式产品开发的有效工具。然而随着嵌入式系统应用的不断深入和产业化程度