【摘 要】
:
NVM等高性能存储器件的快速发展为分布式文件系统带来了数据访问性能的大幅提升,同时也为系统的数据处理能力与网络传输能力提出了新的要求。对于这一问题,RDMA技术是一个比较合适的解决方案,它能以更少的计算资源提供更强的网络传输能力。但是现有的工作往往只将RDMA传输作为系统的网络传输模块使用,并没有利用RDMA技术的特性将其与文件系统的数据处理进行有效的整合与适配。这导致了分布式文件系统网络传输层与
论文部分内容阅读
NVM等高性能存储器件的快速发展为分布式文件系统带来了数据访问性能的大幅提升,同时也为系统的数据处理能力与网络传输能力提出了新的要求。对于这一问题,RDMA技术是一个比较合适的解决方案,它能以更少的计算资源提供更强的网络传输能力。但是现有的工作往往只将RDMA传输作为系统的网络传输模块使用,并没有利用RDMA技术的特性将其与文件系统的数据处理进行有效的整合与适配。这导致了分布式文件系统网络传输层与逻辑处理层的严格隔离,让软件部分的数据处理能力无法与高性能硬件匹配,使系统的软件部分成为了瓶颈,限制了硬件设备性能的发挥。针对高性能硬件环境下分布式文件系统对RDMA网络传输的客观需求,以及相关工作无法有效协调系统软件层与网络层的问题,提出了一种新的RDMA分布式文件系统网络传输模型。该模型通过RDMA传输将系统的软件处理与网络传输有机地结合到了一起。在RDMA网络内存机制方面,通过维持内存注册区域以及动态扩容的方式,在保证RDMA内存通信方式低延时的同时,降低了RDMA网络传输中内存管理的系统开销;在文件数据网络传输方面,减少了数据在传输过程中的复制次数,并且采用了client单边I/O的方式进行网络传输,实现了高吞吐率的数据传输;在系统元数据网络传输方面,采用了一种被动端快速识别的元数据传输方式,实现了低延时的高效元数据传输。实验结果表明应用该网络传输模型的分布式文件系统相对于应用原网络传输模型的系统拥有更高的数据吞吐率和更低的传输延时。数据规模16KB以下数据的吞吐能力提升了12%到74%,该提升在小数据块传输场景中尤其明显,其中1KB规模数据的吞吐能力提升达到了74%。同时优化后系统元数据的操作效率也有显著提升,不同并发情况下均提升了一倍以上。整体上看,该设计缓解了网络传输中系统软件部分的瓶颈效应,充分发挥了RDMA传输与高性能硬件的优势,提升了分布式文件系统的性能。
其他文献
我国高等职业技术学院的发展在21世纪初期发展迅猛,高职院校已经成为我国高等教育不可分割的一部分。在高职院校循序渐进的发展过程中,其从事高职院校辅导员岗位的专业工作者
在竞争日益激烈的市场经济体制下,如何在众多竞争者之间更为亮眼瞩目,不少商家为此绞尽脑汁。商标作为一个企业的形象,具有不可替代的商业价值。但商标注册也存在着很多问题。商标有积极意义和消极意义之分,积极意义的商标我们当然积极鼓励,但消极意义的商标都要抵制吗?也不尽然。商标作为一种商业言论,也应该享有表达自由的权利。目前我国对商标注册审查事项规定的并不详尽,尤其是商标禁止注册的事由,太过于笼统概括,对于
制造业服务化已成为全球制造企业关注的热点,但其实现过程存在制造与服务的优先级问题。相较发达经济国家制造业工业化已完成,我国的制造业服务化具有一定的特殊性,宏观层面
薄膜结构在自然界和人工系统中普遍存在,比如地壳结构、植物果实、动物皮肤、表面涂层以及各种薄膜器件等。薄膜和基底通常是由不同物质构成,因此两者之间存在力学性能失配,
睡眠是人的生命活动的重要一环,睡眠质量的高低与人的身心健康有着极为紧密的联系。睡眠分期是客观分析睡眠质量的技术,同时也是诊治各种睡眠障碍相关疾病的重要参考。人工视
硫醇广泛存在于多种蛋白质和生物小分子中,因而在许多生理功能和生命活动中起着至关重要的作用。评估硫醇浓度的变化对生理功能或疾病状态的早期诊断具有重要意义。通常,硫醇
近年来,SSD凭借其较高的读写性能及性价比,在缓存系统中发挥越来越重要的作用。通常缓存空间远小于后端存储空间,容量差距大约在一个数量级甚至更多,因此SSD缓存的写入密度(单位时间和空间的写入量)远远高于HDD后端存储的写入密度,这给保障SSD的寿命带来了巨大挑战。同时,在社交网络的工作负载下,对SSD缓存的大量写入是不必要的。例如,在某知名公司的社交图片系统中,大约61%的图片只会被访问一次,但它
现实世界中的网络无处不在,如何对越来越多、越来越庞大的网络进行高效地分析和处理在当今世界至关重要。针对网络分析的研究中存在一个关键的问题,研究怎样合理地表示网络的
房地产行业作为我国的基础产业之一,每年为国家GDP贡献了大量的收入,对拉动经济有着举足轻重的作用,房地产从90年代房改开始到如今,已经累计了大量的销售数据、客户数据、建
在目前意识下视觉认知研究中,由于研究任务的多元化和复杂化,对方法论的要求越来越高。在一些经典方法的基础上,科学家发展出一种新的方法——连续闪烁抑制范式(continuous flash suppression,简称CFS),并广泛地应用于意识下视觉认知研究。之前研究者主要是应用CFS来实现对视觉刺激的抑制,完成对意识下视觉处理过程的研究,但没有专门针对CFS本身的研究。由于研究者对CFS本身没有系