数据中心内硬件资源高效的低延迟传输层研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:xiaoge1011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,大型数据中心被大规模部署。这些数据中心内运行着大量分布式应用,比如网页搜索,数据挖掘以及存储服务。网络延迟对许多分布式应用的性能至关重要。网络延迟大体上可以分为两部分:主机网络协议栈的延迟和网络内部的延迟。使用RDMA(远程直接访问内存)技术,主机延迟可以被大幅降低,但网络内部的延迟仍无很好的解决办法。因此延迟敏感的分布式应用的性能仍有很大提升空间。本文的目标是为延迟敏感的分布式应用降低网络内部的延迟,从而提升这些应用的性能。数据中心网络内部的延迟主要来源于以下三个方面:1)粗粒度的网络QoS导致延迟敏感的流量排队在高吞吐量的流量之后,使得延迟敏感流量网络排队延迟大;2)粗粒度的网络负载均衡带来网络流量局部热点;3)RDMA低效率的丢包恢复机制导致网络延迟在丢包时大幅增大。本文的目标是从以上三个方面来降低网络内部的延迟。针对该目标,之前的研究提出了很多方案,但均未考虑网络硬件资源有限的限制条件。网络硬件资源主要指网络交换机和主机网卡。网络交换机上的硬件优先级队列的数目以及主机网卡的片上资源都是很有限的。本文的创新点是在考虑网络硬件资源的限制下,从上述的三方面来降低网络内部延迟。首先,为解决粗粒度QoS带来的问题,许多工作通过细粒度的基于优先级的流量调度来给予延迟敏感流量更高的优先级,从而避免不必要的排队延迟。然而,大多数工作都假设网络交换机上有无穷多的优先级队列,这一点通常是不成立的。本文的研究表明,数据中心的网络交换机通常只有2~3个硬件优先级队列可以被用于流量调度。因此,如何利用有限的优先级队列个数来实现细粒度的流量调度成为了一个挑战。针对这个挑战,本文设计了显示优先级通知系统,利用两个网络交换机中的硬件优先级队列实现了细粒度的优先级流量调度,降低了延迟敏感流量的流完成时间其次,为提升网络的负载均衡效果,许多工作利用数据中心中的多路径来提供细粒度的负载均衡以避免局部流量热点。然而,之前的大多数工作聚焦于TCP流量而非RDMA流量。RDMA实现在硬件网卡之中,片上存储资源十分有限,通常在MB的数量级。因此,如何利用有限的片上硬件资源来把为RDMA流量设计一个可行的负载均衡策略是一个挑战。本文为RDMA设计了一个多路径的传输层协议来为RDMA流量做负载均衡,在最小化片上存储资源的同时,有效地提高了吞吐量并且降低了延迟。最后,为提升RDMA的丢包恢复效率,本文在考虑到硬件网卡片上资源限制的前提下,为RDMA设计了存储友好的选择性重传机制来提升RDMA在丢包时的重传效率。该机制利用最小的内存代价,大幅提升了 RDMA在丢包时的吞吐量,降低了延迟。我们实现并评测了上述的三个方案,实验结果表明:利用我们的流量调度策略,网络流的平均完成时间降低了 60.5%;进一步的,多路径RDMA传输层协议在把网络流的平均完成时间降低17.7%的同时将网络带宽利用率提高47%;最后,我们的丢包恢复机制能将RDMA流量在一定丢包率情况下的吞吐量提高14.02倍,同时将99%分位的流完成时间降低3.11倍。
其他文献
配气机构是内燃机的重要组成部分,配气机构的好坏对内燃机的性能指标有着很重要的影响。配气凸轮是决定配气机构工作性能的关键零件,如何设计和加工出具有合理型线的凸轮是整
目前,毒品成瘾已经成为困扰人类的巨大的社会和健康问题。毒品成瘾是由滥用毒品与大脑奖赏系统相互作用产生的慢性、复发性脑疾病,主要表现为强迫性用药症状和持续性渴求状态
视频序列中运动目标检测与跟踪是实现智能视频监控系统的关键技术之一。实际的视频监控系统应用的场景往往是错综复杂、变化较大的,实现具有准确性、实时性和鲁棒性的运动目
在社会主义事业总布局中,生态文明建设具有突出的地位,这不仅仅是因为生态文明建设是有效化解资源与环境危机的手段,更为重要的是因为生态文明建设是其他几个方面建设的基础
随着语法化理论的引进,有关汉语介词的研究已经取得了不少成绩,但是从汉语史的角度对介词进行系统研究的还不多见,将方所介词作为研究对象的几乎没有。他们或是将它视作介词
<正>放眼全国,随着城市化、工业化大发展,石油石化企业陷入搬与不搬尴尬境地的不是个案。将视线从上海浦东新区高桥镇挪开,放眼全国,我国有不少石油石化企业如高桥石化般陷入
发展循环经济、构建循环经济产业链,是实现可持续发展具体而重要的实践工具,已经在世界范围内被快速推广。循环经济产业链作为新生事物,在一片赞扬声中,也出现了越来越多的实
天然气长输管道工程建设项目,大都需要多年的时间才能完成,并经过多种复杂的地形,因此,施工中存在的风险也较多,如何针对存在的风险采取有效的应对措施,是首先考虑的重要问题
佛教由释迦牟尼初创于印度,自此之后历经数次变革,后传入中国,得以发扬光大,并相继传入日本、东南亚等地,所到之处,佛教对当地的文化产生了巨大的影响。佛教的义理主要包括苦
<正>一、证据开示制度概述(一)证据开示制度涵义。证据开示是指"审判前的各种手段,一方当事人可以使用它们从对方当事人那里获得有关案件的事实和信息,以期有助于自己为审判