低延迟数据中心网络中多应用通信优化机制研究与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:gaolch006
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,传统数据中心网络的性能已经无法满足分布式应用日益增长的网络需求,新型的低延迟数据中心网络应运而生。低延迟数据中心网络的核心技术是RDMA,即远程直接内存访问技术。RDMA本质上是将协议栈卸载到硬件中,实现了内核旁路技术,避免了传统网络中数据从用户态到内核态的拷贝开销,同时省去了内核处理的开销,为数据中心分布式应用提供了低延时和高带宽的性能优势。RDMA 与数据中心应用的结合使得传统的基于TCP/IP的通信框架不再适用,取而代之的是采用了一套基于RDMA协议的全新的通信架构和机制,这对于传统数据中心网络通信架构带来巨大变革。其主要特点体现在,RDMA技术将协议栈的控制功能和网络资源卸载至网卡,并对上层应用提供了多样化的硬件接口以实现定制化的网络传输方式及能力。然而,这种灰盒子模式的通信架构和机制给基于RDMA的应用在数据中心的部署带来了两个挑战:1)参数选择难导致的应用性能下降问题;2)资源共享难导致的可扩展性及公平性问题。为了解决上述问题,本论文从以下三个方面开展研究工作:
  首先,针对现有相关工作采用固定参数传输模式从而导致应用性能下降的问题,研究基于决策树的RDMA通信参数动态选择机制。分析并采集数据中心与RDMA参数选择相关的不同应用的特性以及服务器资源状态,通过理论分析与实验验证,确定不同的应用特性与服务器资源状态组合所对应选择的最佳的 RDMA 参数组合。基于此,构建从应用特性以及服务器资源状态到 RDMA 参数选择的轻量级决策树模型,并设置合适的参数调整频率,在应用运行过程中动态地为应用选择最佳的 RDMA 参数组合,从而优化RDMA应用性能。
  其次,针对当前相关研究工作基于锁机制的网卡资源共享模式导致的可扩展性差以及由于缺乏具体的 RDMA 资源共享策略而导致的公平性差的问题,研究面向效用公平的 RDMA 网卡资源调度机制。本硕士论文在系统层面设计无锁的资源共享机制并构建面向效用公平的 RDMA 资源调度模型,在提高系统可扩展性的同时,保证应用之间的效用公平性,优化系统资源总效用。
  最后,设计并实现了低延迟数据中心网络中多应用通信优化系统,为应用提供更为抽象的编程接口,并实现自适应的高性能参数选择及网卡资源分配。本文基于东南大学数据中心infiniband集群真实环境,将理论研究成果与实践相结合,设计并实现了原型系统,并进行了部署和实验。
  通过在东南大学数据中心实际环境中的实验结果表明,本文所提出的低延迟数据中心网络中多应用通信优化机制能够动态地为应用选择最佳的 RDMA 参数,提高应用网络传输性能,同时保证应用之间对RDMA网卡资源共享的效用公平性,实现了高性能、高可扩展性的多应用通信优化。
其他文献
我国的心血管疾病死亡率居各病因之首,占居民疾病死亡构成的40%以上,心律失常是心血管疾病中重要的一组疾病,标准的12导联心电信号是诊断心律失常的重要工具,基于心电信号的心律失常自动检测对预防和治疗心血管疾病有重要意义。虽然12导联心电图信号比单导联心电图提供了更全面的心律失常信息,然而不同导联之间的信息很难有效融合,因此,基于12导联心电开发一种具有较高准确性和较强泛化能力的的心律失常自动检测算法
学位
面向服务的架构(Service-Oriented Architecture,缩写SOA)由于其应用程序接口独立、资源可共享和重用的特点得到广泛的利用,解决了传统应用架构应用程序难以管理、系统依赖特殊环境的问题。服务集成框架是适用于实时分布式应用领域的 SOA 实现方案,由于缺乏服务组合机制,系统中大量已有可用服务难以被有效复用。而现有的服务组合机制难以直接应用在同时支持发布订阅和请求应答两种通信方
随着X射线计算机断层成像(X-ray Computed Tomography,CT)在现代医学中的应用越来越广泛,CT 检查中潜在的辐射风险也引起了广泛的关注,过量的辐射容易诱发白血病以及癌症等疾病,因此,降低CT扫描过程中的辐射剂量刻不容缓。但是降低CT扫描过程中的辐射剂量会导致重建后的CT 图像中的信噪比降低,CT 图像中存在着严重的噪声和伪影,进而影响医生的诊断。为了提高在低扫描剂量下CT图
当今,网络数据作为一种广泛使用的数据载体,正逐渐成为人们认知并抽象世界的一种方式之一。网络中除了节点和边的信息外,往往还包括丰富的节点属性,蕴含巨大的价值。网络表示学习,是一种旨在将网络数据中的节点表示成低维、稠密且是实值向量表示形式的新颖的表示学习方法,学习到的向量表示将会用于各类下游任务如节点分类和链路预测中以提升性能。然而现有的深度网络表示学习方法由于忽略了嵌入表示的分布容易陷入过拟合问题,
协同众包是指需要多人共同合作完成复杂任务的众包。由于工人需要相互协作才能完成任务,因此工人之间的协同代价是影响团队合作效率和质量的重要因素。与以往团队形成问题中基于社会网络通信成本计算协同代价模型不同的是,本文基于工人对互相之间协同情况的反馈计算工人之间的协同代价。所以,本文首先基于工人反馈研究复杂任务被分解后的协同众包团队形成问题,然后在该研究的基础上,本文针对工人的不诚实性和工人的信誉因素对问
学位
图像超分辨率技术是指通过软件算法来提高图像的空间分辨率并恢复更高频率的细节信息,从而获得更丰富的图像内容。如今,图像超分辨率技术在视频处理领域获得了更多的关注,视频超分辨率成为研究热点。得益于硬件成本低、部署难度小等优势,视频超分辨率技术可以嵌入在录制、传输、播放、应用等各个阶段,对于提高成像质量、降低传输带宽、改善视觉体验、优化智能应用等方面均可起到突出作用,具有极高的应用价值。本文主要关注视频
学位
近年来,实值神经网络(Real Neural Network,Real NN)在学术界和工业界受到广泛关注,网络的构造、推广及其合理的解释是当前人工智能应用基础理论研究的重要研究内容。作为深度学习的经典学习模型,实值卷积神经网络(Real Convolutional Neural Network,Real CNN)在语音识别、图像处理、医学辅助诊断等领域均取得了显著成果,但是它的网络结构中通常不考
近些年来各行各业高速发展,对人才的选择日趋重要,人才选择最重要的是人才评估。尽管当前招聘形式种类多样,但人才评估依赖于学历证明的情况并没有发生改变,这导致学历造假现象层出不穷。此外,各大企业招聘人才需大量笔试、面试,导致招聘效率低下,且应试型考试能够考前突击,从而取得很好成绩,并不能真实评估人才水平。基于学习经历大数据(以下简称学历数据)生成学生画像,进而实现客观人才评估的方法,近年来受到了很大关
学位
近年来,随着智能设备的普及,移动应用得到迅速的发展。这些应用往往依赖于基于位置的服务,通过使用用户的坐标位置或者语义/逻辑位置为用户提供个性化服务内容。基于位置服务的应用对用户位置信息的访问带来了严重的隐私隐患,为了使用户在获得基于位置服务的同时保障其隐私不受侵犯,研究者们针对位置隐私定义以及隐私与功能之间的最优化权衡展开了研究。  现有的隐私定义主要基于信息论和差分隐私这两个概念,且主要针对用户
学位
随着网络信息技术的不断发展,互联网已经成为国民经济和社会发展的重要基础设施,各类业务与应用对网络基础设施的可扩展性和健壮性要求达到了新的高度。IETF提出的新一代网络管理协议 NETCONF,以及用于描述网络配置和状态数据的 YANG 模型,可以降低人工运维成本,使网络运维趋于自动化。  然而由于业务现实等因素,各家厂商和标准化组织构建的YANG模型存在异构性,不同来源的YANG模型在语义上难以统
学位