集群存储网络吞吐量塌陷行为研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:linyuan0213
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
集群存储系统因其低成本和易于扩展等优势在云存储时代的数据中心中得到广泛应用。数据中心将集群存储系统构建在高速TCP以太网上,多个存储节点同时对外提供数据存取服务。由于集群存储网络负载的同步并发特性,在响应客户端的数据请求时,客户端带宽利用率随着集群节点数目的增加急剧下降,造成客户端的实际网络吞吐率只有正常情况下的20%左右,极大浪费了数据中心的网络带宽资源,也增加了客户端的数据存取延时。这种集群存储网络中的多对一通信模式下的TCP吞吐率塌陷行为被研究人员称为Incast。首先,通过模拟和真实集群环境下的实验测试再现了集群存储网络的Incast现象,从微观和宏观角度说明了Incast现象在集群存储网络中是普遍存在的,通过量化建模方式分析了其形成原因。根据实验trace的分析指出造成Incast的主要原因是TCP的超时,而现有的拥塞控制机制和TCP协议实现不能充分发挥其在集群存储网络环境中的优势,数据存储策略和应用负载的高并发性加剧了集群存储网络中的TCP超时,亦即加剧了Incast对实际吞吐率的负面影响。通过量化建模分析,回答了为什么现有的TCP拥塞控制机制不能在集群存储网络中发挥优势,阐述了实际网络吞吐率急剧下降的原因是瞬态的爆发性丢包造成的连续超时,并可根据量化评估模型估算发生超时的概率和实际吞吐率。这些研究都给下一步探索Incast的优化与解决方法提供了理论依据。其次,根据对Incast的形成原因的量化分析,对TCP最小重传超时计时器的实现进行了优化,一方面防止过大的RTOmin带来的TCP超时影响;另一方面也避免过小的RTOmin引发的TCP伪造重传。现有的TCP拥塞控制机制因为其普适性,最小超时重传计时器RTOmin在协议实现中精度设置过低,不能满足现在的高速集群存储网络环境的需要。在Linux-2.6.18以后版本的内核中,由于加入了内核对高精度时钟的支持,通过优化TCP协议实现中的RTOmin,平衡了TCP超时和伪造重传对集群存储网络吞吐率的影响。再次,在应用层采用负载控制措施,限制各个存储节点在同步读时的突发负载速率,避免集群存储网络传输中的瞬态爆发性丢包造成的TCP超时,从而解决了Incast问题。在Linux内核的网络接口负载控制模块支持下,通过控制脚本实现负载控制参数的传递,限制了多存储节点的同步并发传输的最大负载速率,预防网络拥塞状况的产生,从而避免了瞬态的爆发性丢包事件造成的多次TCP超时。负载控制策略的核心思想是使得参与同步传输的多个存储节点均等占有网路瓶颈链路的带宽资源,亦即每个同步传输流的最大负载速率不能超过其在集群中应该分配的平均带宽。最后,对具有典型Incast负载特性的分布式连续数据保护系统,分析了其网络负载的Incast行为特性和本地磁盘的负载特性。针对网络Incast,采用了RTOmin优化和负载控制相结合的手段提高客户端实际吞吐率,降低数据请求的网络传输时间。对于校验服务器的本地磁盘负载采用缓冲链条的策略进行优化,降低校验服务器对于本地磁盘的IO次数,减少数据校验计算的等待时间。通过两方面的优化,提升集群存储系统的网络传输效率和本地IO性能,降低总的用户数据服务的响应时间。本文通过对Incast形成原因的分析和解决方法的研究,为大规模企业数据中心的高质量存储服务提供了保障。
其他文献
二十一世纪是一个快速发展的信息时代,电子计算机在社会发展中起到了至关重要的作用。当前电子计算机发展已经进入到一个瓶颈期:高度的电路集成导致漏电荷和高发热量问题;大量
随着高职教育的发展,教育形式也呈现多样化,其中校企合作是高职教育的常见形式,它是基于现代学徒制模式下形成的。现代学徒制模式是一种工学结合的人才培养模式,校企合作的目
近年来,健美操运动逐渐在各大院校兴起。从老师到学生,都抱着积极参与的态度,加入到了健美操的运动当中。在中职院校,健美操课程同样受到了大家的追捧。本文通过对中职体育教
商场如战场,决胜商场的因素自然多种多样,然而,对于跨国界的电子商务而言,跨文化意识因素起着关键作用。本文从跨文化的角度探视淘宝网和eBay在中国国内C2C电子商务的竞争与
钻孔灌注桩技术因其设备投入小、施工操作简单、适应性强等多方面的优点被广泛应用到地基与基础工程、路桥工程等等领域中。本文作者根据自己多年来的工作经验对钻孔灌注桩施
针对传统初中英语课堂教学中存在的问题,有效应用合作学习模式提升初中生学习兴趣和教学实效的途径是:明确分工,提高学生学习积极性;注重过程,提高合作学习的有效性;构建完善
主要针对多彩、仿石、质感等建筑外墙涂料的太阳光反射比和近红外反射比的影响因素进行了测试分析。结果显示,除了采用高反射比的颜填料之外,采用复层技术进行涂层设计可制备同
三值光计算机是一种全新概念的光电混合型计算机,它将光强度与偏振方向结合起来表示三值信息,具有光运算、光传送、电控制和光电混合存储等特点。三值光计算机理论正在逐步完
随着国际金融市场的日益活跃和拓展,物流企业的经营活动无时无刻不与外汇风险挂钩,如何在企业发展过程中管理好外汇风险对于我国物流企业的发展具有重要的意义。本文分析了物
市场竞争日趋激烈,弱势企业应运而生。如何在激烈的市场竞争中赢得一席之地,如何逐渐走向强势,是许多弱势企业值得思考的问题。弱势企业的竞争战略需要有一个对市场环境与企业自