论文部分内容阅读
近年来,传统数据中心网络的性能已经无法满足分布式应用日益增长的网络需求,新型的低延迟数据中心网络应运而生。低延迟数据中心网络的核心技术是RDMA,即远程直接内存访问技术。RDMA本质上是将协议栈卸载到硬件中,实现了内核旁路技术,避免了传统网络中数据从用户态到内核态的拷贝开销,同时省去了内核处理的开销,为数据中心分布式应用提供了低延时和高带宽的性能优势。RDMA 与数据中心应用的结合使得传统的基于TCP/IP的通信框架不再适用,取而代之的是采用了一套基于RDMA协议的全新的通信架构和机制,这对于传统数据中心网络通信架构带来巨大变革。其主要特点体现在,RDMA技术将协议栈的控制功能和网络资源卸载至网卡,并对上层应用提供了多样化的硬件接口以实现定制化的网络传输方式及能力。然而,这种灰盒子模式的通信架构和机制给基于RDMA的应用在数据中心的部署带来了两个挑战:1)参数选择难导致的应用性能下降问题;2)资源共享难导致的可扩展性及公平性问题。为了解决上述问题,本论文从以下三个方面开展研究工作:
首先,针对现有相关工作采用固定参数传输模式从而导致应用性能下降的问题,研究基于决策树的RDMA通信参数动态选择机制。分析并采集数据中心与RDMA参数选择相关的不同应用的特性以及服务器资源状态,通过理论分析与实验验证,确定不同的应用特性与服务器资源状态组合所对应选择的最佳的 RDMA 参数组合。基于此,构建从应用特性以及服务器资源状态到 RDMA 参数选择的轻量级决策树模型,并设置合适的参数调整频率,在应用运行过程中动态地为应用选择最佳的 RDMA 参数组合,从而优化RDMA应用性能。
其次,针对当前相关研究工作基于锁机制的网卡资源共享模式导致的可扩展性差以及由于缺乏具体的 RDMA 资源共享策略而导致的公平性差的问题,研究面向效用公平的 RDMA 网卡资源调度机制。本硕士论文在系统层面设计无锁的资源共享机制并构建面向效用公平的 RDMA 资源调度模型,在提高系统可扩展性的同时,保证应用之间的效用公平性,优化系统资源总效用。
最后,设计并实现了低延迟数据中心网络中多应用通信优化系统,为应用提供更为抽象的编程接口,并实现自适应的高性能参数选择及网卡资源分配。本文基于东南大学数据中心infiniband集群真实环境,将理论研究成果与实践相结合,设计并实现了原型系统,并进行了部署和实验。
通过在东南大学数据中心实际环境中的实验结果表明,本文所提出的低延迟数据中心网络中多应用通信优化机制能够动态地为应用选择最佳的 RDMA 参数,提高应用网络传输性能,同时保证应用之间对RDMA网卡资源共享的效用公平性,实现了高性能、高可扩展性的多应用通信优化。
首先,针对现有相关工作采用固定参数传输模式从而导致应用性能下降的问题,研究基于决策树的RDMA通信参数动态选择机制。分析并采集数据中心与RDMA参数选择相关的不同应用的特性以及服务器资源状态,通过理论分析与实验验证,确定不同的应用特性与服务器资源状态组合所对应选择的最佳的 RDMA 参数组合。基于此,构建从应用特性以及服务器资源状态到 RDMA 参数选择的轻量级决策树模型,并设置合适的参数调整频率,在应用运行过程中动态地为应用选择最佳的 RDMA 参数组合,从而优化RDMA应用性能。
其次,针对当前相关研究工作基于锁机制的网卡资源共享模式导致的可扩展性差以及由于缺乏具体的 RDMA 资源共享策略而导致的公平性差的问题,研究面向效用公平的 RDMA 网卡资源调度机制。本硕士论文在系统层面设计无锁的资源共享机制并构建面向效用公平的 RDMA 资源调度模型,在提高系统可扩展性的同时,保证应用之间的效用公平性,优化系统资源总效用。
最后,设计并实现了低延迟数据中心网络中多应用通信优化系统,为应用提供更为抽象的编程接口,并实现自适应的高性能参数选择及网卡资源分配。本文基于东南大学数据中心infiniband集群真实环境,将理论研究成果与实践相结合,设计并实现了原型系统,并进行了部署和实验。
通过在东南大学数据中心实际环境中的实验结果表明,本文所提出的低延迟数据中心网络中多应用通信优化机制能够动态地为应用选择最佳的 RDMA 参数,提高应用网络传输性能,同时保证应用之间对RDMA网卡资源共享的效用公平性,实现了高性能、高可扩展性的多应用通信优化。