一种分布式高速数据传输系统中调度算法研究

来源 :北京大学 | 被引量 : 0次 | 上传用户:zalatan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数字印刷是印刷技术发展的重要方向,数字印刷的一个重要特征是每张印品上的图文数据是可变的,因此数字印刷要求极高的数据传输速率,当前主流硬盘带宽无法满足数字印刷对传输速率的要求。本文讨论了一种基于Hadoop的高速数据传输系统,为了提高传输速率,基于Hadoop的高速数据传输系统需要恰当的调度,已有调度算法很难达到较好的调度结果与较低的时间代价的统一。为此,本文重点研究调度算法,在保证好的调度结果的基础上减少计算时间。   本文首先描述了数字印刷遇到的传输难题和几种硬盘及网络数据传输加速方案。然后概述Hadoop分布式架构并给出基于Hadoop的高速数据传输系统框架,接着引入调度模型并讨论相关调度算法。在充分分析当前传输调度问题所具有的特性基础上,本文提出了分段二进制整数规划算法和基于难度估计的智能选择算法。此外,本文还讨论了Hadoop节点失效问题,并基于新算法提出一种快速重调度方法。   实验证明,本文提出的分段二进制整数规划算法和基于难度估计的智能选择算法在二进制整数规划算法适用的问题规模下,能够取得与二进制整数规划算法相近的结果,且计算时间更短。基于难度估计的智能选择算法的计算时间相对于二进制整数规划算法有两个数量级以上的提高。两种新算法都克服了二进制整数规划不能适用于大型问题的缺点。   最后,本文进行了总结,并对今后的研究方向进行展望。
其他文献
随着科技的迅速发展,人们能够很容易的获得高分辨率甚至超高分辨率的视频,但是如此大的数据量无疑是对存储设备的一种挑战。视频压缩技术很好的解决了这个问题。但是在低比特
随着我国国防现代化的发展和军事领域信息化建设的不断深入,军事仿真方面的需求呈现出大规模、多样化、高扩展性等特点,传统的军事仿真建模过程在新需求的挑战下表现出研发成本
随着电力系统的逐渐完善以及自动化技术的进步,电网调度自动化系统得到了普遍的应用。与此同时我国的电网规模日趋庞大,内部结构也更加繁杂。这客观要求科学分配各级调度部门的工作和责任范围,增强部门间协调能力,而且还需要及时拼接出全网模型,以提高系统整体的稳定性和安全性。模型拼接因而成为各调度部门的主要工作内容之一。电网模型运行数据的实时获取及对其整合分析是电网安全,稳定,高效率的前提基础,我国电网调度系统
目前,Peer-to-Peer技术广泛应用在主流网络领域中并深受大众欢迎,在当代互联网中占据重要的一席。然而,随着P2P技术的发展和应用类型的增加,传统的P2P应用已经不能满足网络用
虚拟环境中采用自然光影可以有力地增强真实感,但是大多数算法难以实时运行。本文针对大规模虚拟现实系统平台的需求,研究其中自然光影的快速绘制方法,关键点在于满足实时性的前
神经活动是最复杂、最神秘的生命活动,揭示其奥秘是自然科学的最大挑战。而生物学研究表明生物神经系统的功能很大程度上受到其结构的影响,对生物神经系统拓扑结构的研究显然是
在物理仿真与动画领域,多种运动物体之间的碰撞检测以及多体多点非光滑接触仿真计算模型,由于多体自身特有的非光滑非连续数值特征,依旧存在非常大的困境和挑战。本文将围绕高效
随着社会经济的发展,机动车辆与日俱增,随之而来的驾驶安全问题受到越来越多的关注与重视。统计表明,在所有的交通事故中,10%-20%是由于疲劳驾驶造成的。因此驾驶员疲劳检测成为了
印刷行业面临着日趋激烈的竞争,客户对印刷品质量的要求也越来越高,而印前数据处理的优劣在很大程度上决定着印刷品的质量。在如今的印刷品中,图像占据了越来越重要的地位,由
粒计算是一门快速发展的新兴学科,它主要思想:把复杂信息按照特征和用户需要划分为若干较为简单的块,每个块称为一个信息粒,划分粒的过程称为信息粒化。它以模糊逻辑、粗糙集和商