基于RDMA读优先锁机制的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wdxf365
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年,基于远程直接内存访问(Remote Direct Memory Access,RDMA)的分布式系统广泛应用。其使用锁实现访问共享资源时的并发控制。锁一般采用先来先服务调度,该方式虽然能保证请求整体的公平性,但是高延迟的写操作使得后续读操作显著增加等待时间,并且限制了读操作的并发性。注意到在放松一致性要求的应用场景中,如分布式机器学习框架参数服务器,并不要求对参数的更新和读取严格按序,即使部分读写重排,通过多次迭代收敛,仍能保证程序的正确性。针对上述场景,为了提升系统整体性能,提出了一种基于RDMA的可调度读优先锁机制,可以将一批读操作重排到写操作之前,避免了写操作带来的阻塞。该锁机制具有以下特点:首先,使用RDMA原子取和加(Fetch_and_Add,FA)原语,将锁的表示、获取、释放和RDMA原子原语特性紧密结合在一起,同时申请和释放锁操作,无需服务器端处理器介入;其次,使用RDMA原语的无通知方式,减少了轮询开销,降低通信延迟;再次,通过先取号再服务的方式,在无全局队列存储的情况下实现公平的锁分配策略,保证申请锁的各个节点等待时间上限,在独占写锁和共享读锁之外,增加尝试读锁,将读操作调度到写操作之前,但限制调度到写操作前的读操作数量;最后,引入超时机制,由申请锁节点维护锁有效时间并做锁超时处理,减少服务器干预,解决节点失效或网络故障时锁无法释放的问题。实现了该机制,并基于该机制实现了一个共享内存系统,同时实现了三种已有的锁方案:基准、DrTM和DSLR,其中基准使用RDMA消息语义且保证先来先服务。后两者使用RDMA原子原语,DSLR保证先来先服务但DrTM不保证。使用负载生成器YCSB(Yahoo!Cloud Serving Benchmark)生成的负载对上述方案进行定量性能测试。实验结果表明,该机制的吞吐量(每秒获取锁的次数)相对于基准提升可达90%,相对于最新的DSLR,在读写均衡型测试负载下吞吐量提升10%,说明读优先策略是有效的。
其他文献
雨天是常见的恶劣天气,图像受雨滴影响会产生严重退化,导致计算机自动检测、跟踪等性能的降低。生成对抗网络具有强大的特征学习和特征表达能力,将其与注意力机制相结合,可以根据注意力机制所关注的区域,以对抗训练的思想生成更高质量的图像,为计算机视觉应用提供了新的技术和手段。它在图像的雨滴去除中,已取得较好效果。去除雨滴的影响,还原背景场景,将有利于图像后续处理。为此,本文主要工作内容如下:首先,本文对基于
自治水下机器人(Autonomous Underwater Vehicle,简称AUV)由于无电缆制约,活动范围广,且体积小,重量轻,在大范围海洋探测领域发挥着重要作用。随着海洋利用区域不断扩大,人类
积雪是地球表面极其重要的组成部分并广泛的存在于高寒地区,同时也是地表中最为活跃的自然因素。在全球气候加速变暖的大背景之下,因青藏高原在全世界同一纬度的地区中海拔最
近年来,基于日志结构合并树的键值对存储系统因为结构简单、写吞吐量高等优点被应用到各个领域。日志结构合并树常用的两种合并策略是TCS(Tiered Compaction Strategy)和LCS(Leveled Compaction Strategy)。TCS允许同层的键范围重叠,减少了维持键有序而进行的数据重写,但是指数增长的SSTables(Sorted String Tables)大小会占用
《普通高中数学课程标准(2017年版)》从利于学生不断发展的角度出发,依据数学学科的特点,凝练了数学学科的六大核心素养。在数学教学中如何培养学生的核心素养成为数学教育界的热点问题,受到了普遍关注。要落实培养学生核心素养的目标,无论是数学教学的内容,还是教学方法与手段都将随之改变,以适应课程标准的新要求。在内容上,《普通高中数学课程标准(2017年版)》将知识内容以主题形式呈现,使数学知识更具有系统
学位
研究生教育位于高等教育的顶端,在一个国家或地区的高层次人才培养和科技创新中扮演着重要角色,因此,研究生教育质量关乎一国创新能力和竞争水平。经过30多年的发展,我国的研
服务衍生是服务型制造企业获取竞争优势的关键。在衍生服务嵌入相应产品时,新客户不能预见该服务未来的价值创造能力,对混合产品的价格倾向于低估;但由于衍生服务能够实现供
随着知识经济全球化时代到来,创新已成为提升国际竞争力的核心驱动力和世界各国经济发展的必然战略选择。我国也明确提出要把创新和科技进步作为经济社会发展的首要推动力量。创新已成为中国进入新常态阶段经济发展的重要引擎和“十三五”时期经济社会发展的迫切需要,加之依靠土地和劳动力等要素驱动型和大量投资形成的投资驱动型城镇化难以为继,因此创新驱动型城镇化为城镇化实现了战略转型。城市是创新的载体,通过优化配置创新
生物计算中,许多高性能的计算模型和智能算法是借鉴复杂的生命活动特征而建立起来的。膜计算作为生物计算的一个分支,旨在从生物细胞的结构功能中抽象出高效的计算模型。脉冲神经膜系统是受神经元细胞利用脉冲实现信息交互这一机制启发而来的计算模型,现为膜计算领域一个研究热点。本文围绕着几类新型的脉冲神经膜系统的数字产生能力、规则类型、规则使用条件、小通用性及系统的软件仿真设计展开研究。主要创新点如下:研究了基于
工业控制系统(ICS)是应用于工业基础设施的系统,多使用于监督控制、数据采集和工业自动化等。工业控制系统中包含了多种不同的硬件、软件,整体具有复杂的、基于组件的体系结