云计算数据中心网络的流调度技术研究

来源 :国防科学技术大学 | 被引量 : 2次 | 上传用户:tingyuan2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算数据中心内运行的多种多样的应用对网络的高带宽和低延时等性能提出了越来越高的要求。数据中心网络的流调度技术对数据流的传输进行调度,其目标是减少数据流平均完成时间,优化用户体验,近年来在学术界和工业界引发了广泛关注。本文从用户在应用层的任务对网络层的流调度的需求和影响出发,针对云计算数据中心网络流调度中的数据生成速率等流信息缺失、任务感知的调度开销大以及基于作业逻辑的流调度等挑战性问题,从速率感知的流调度、针对小任务的流调度以及基于作业逻辑的流调度等方面展开研究。论文的主要工作和创新成果包括以下几个方面:  针对数据生成速率等流信息缺失问题,研究了数据流经历应用、系统以及网络传输的完整生命周期,提出了准确测量数据生成速率的方法和速率感知的流调度机制RAX。该机制的基本原理是在估算流剩余时间时同时考虑流大小和流数据生成速率,并利用网络内交换机支持的优先级队列,将流根据他们的剩余时间映射到这些优先级队列中,采用类似于多级反馈队列算法进行调度。由于数据生成速率反映了应用对网络的真实需求,RAX可以避免调度的盲目性。与已有方法比, RAX有效地利用了操作系统层面提供的丰富的流信息,包括缓存区积压数据量和精确测量的应用层数据生成速率;RAX原型系统的实现不需要修改系统内核或用户应用,不需要特殊的网卡、交换机等硬件支持,与现有的TCP/IP协议兼容,可以以热插拔的方式部署在生产系统上。实验表明,RAX比现有流调度机制更有效地减少了流平均完成时间,尤其是对中等大小的数据流。  针对任务感知的流调度开销大的问题,研究了数据中心网络环境下针对小任务的低开销流调度机制,提出了一种优化小任务性能的、轻量级的、兼容现有软硬件技术的流调度机制OPTAS。该方法的基本思想是通过监控系统调用和缓冲区占用情况来获取流信息,不需要修改用户应用、操作系统及交换机等硬件,降低了获取流信息的开销。为了利用从发送缓冲区中获得信息,OPTAS设置了两个阈值,一个是缓冲区大小的阈值,另一个是流大小的阈值,通过这两个阈值来识别小任务。为了避免大任务在网络中阻塞小任务,OPTAS为小任务的数据流设置了最高的优先级,并且通过调节TCP窗口大小和ACK延时时间来实现小任务间以FIFO的方式进行传输,以此避免小任务间出现网络拥塞和带宽抢占,达到优化小任务性能的目的。与现有方法比,OPTAS具有调度开销小、响应速度快,对小任务的性能提升效果明显等优点。实验表明,OPTAS可以有效地优化小任务的传输性能,减少小任务的平均完成时间,这对优化用户体验具有重要意义。  针对基于作业逻辑的流调度问题,在分析复杂作业计算逻辑的基础上,定义了表达作业执行逻辑的网络语义抽象seflow,一个seflow不仅包含该作业的所有数据流,还蕴含着这些数据流之间的逻辑关系;提出了作业运行时逻辑瓶颈LRB来表达作业运行时对网络的需求;设计了基于作业逻辑的流调度机制SLRBF以及相应的流调度系统、应用编程接口。与现有方法相比,SLRBF算法充分考虑了作业内数据流间的逻辑关系,计算作业运行时逻辑瓶颈LRB,作业间根据LRB值进行排序,作业内部则根据数据流的紧急程度划分为两个优先级队列。实验证明, SLRBF算法可以有效地减少作业的平均执行时间。
其他文献
随着传感器技术进步和物联网的发展,各行各业信息系统产生的数据量急速增加,处理、分析数据的要求不断提高,大数据成为了当前研究的热点内容。交通领域是大数据产生的一个优良平
该文首先讨论了变动产品的模型的概念、特点和研究内容,以及参数化的概念、参数驱动变动模型的实现原理,在此基础上规划并编码实现了参数化图形的几何约束表达、约束求解和参
伴随着计算机技术的持续发展以及在各领域的广泛应用,计算机系统已经成为信息处理的主要工具,大量的涉密信息通过它来进行处理。然而,计算机及其外部设备工作时会通过电磁辐射发
云计算的“托管”服务模式,使云服务用户脱离了对应用程序和数据的直接控制。用户担心部署在云端的应用程序和数据会被篡改和窃取,而云服务提供商同样担心用户部署的内容会对
Windows操作系统为开发计算机—电话集成通信应用程序提供了稳定而健壮的平台和丰富的应用程序接口.以TAPI(电话应用程序接口)为核心,结合MAPI(消息应用程序接口),SAPI(语音
该文论述了以下的内容:第一章绪论简要说明了轨道和钢轨焊接的一般知识,并着重分析了钢轨焊接中热影响区对钢轨接头的危害.第二章介绍了金属学与热处理方面的一般理论,分析了
该课题采用面向对象的编程语言Visual Basic 5.0进行MIS系统瓣开发.采用层次化的视窗作为用户直观地访问信息的手段,以使得界面更加友好;利用VB5.0内置的Microsoft Jet数据库
同态加密是密码学中一个长期的公开问题,在外包存储和外包计算中具有广泛的应用前景。从2009年以来,陆续出现了几类基于格和整数的同态加密模型(半同态或全同态)。代数同态加密是
现场编程实现方式是将各种消防控制设备的控制时序和联动关系归纳为几种固定逻辑模型,并以特定的数据格式定义形成协议,最终根据实际工程的要求,通过计算机现场输入联动关系
复合式火灾探测报警目前世界范围内火灾探测报警领域最受人瞩目的研究方向之一.该论文的主要内容是公安部"复合式感烟感温火灾探测报警系统SX4000"的科研项目中的一部分-火灾