面向大条带纠删码的GPU编码加速库的设计与实现

来源 :曹行宇 | 被引量 : 0次 | 上传用户:laoyu2030
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前的大规模存储系统广泛使用纠删码技术,它以条带的形式存储数据实现容错,使得在满足相同容错的情况下,比副本容错技术拥有更低的存储成本。为进一步降低存储成本,学术界和工业界开始研发“大条带纠删码(Wide-Stripe Erasure Coding)”技术,通过增加大条带的长度来压缩校验块在每个条带中的比例,从而节省更多存储成本。然而,大条带纠删码由于条带过长而导致校验块的编码计算量大、编码效率低,大大影响存储系统的性能。针对以上问题,设计基于GPU(Graphics Processing Unit,图形处理器)的大条带纠删码的编码加速库G-WS,通过利用GPU的高并发计算能力以提升大条带纠删码的编码效率;同时在该编码库中使用局部修复码,保持较好的系统修复性能。在该编码加速库中,首先提出了基于局部修复码的大条带编码矩阵的缩减方法,通过缩减编码矩阵将其存储在GPU的常量内存以提升编码操作过程中对编码矩阵的访问效率;其次,提出了大条带编码的GPU共享内存优化的方法,通过充分利用GPU的共享内存并协调线程的编码任务以提升大条带的编码效率;最后,提出了大条带编码操作的高效数据传输方法,通过充分利用主机端的页锁定内存与设备端内存之间的直接内存访问技术,提升主机端与设备端之间的传输带宽,并通过流水线技术隐藏主机端与设备端之间的传输开销,进一步提升传输性能。基于上述设计与实现,在真实环境下进行实验测试。实验结果表明,该编码库可以支持最多256个数据块的大条带纠删码的编码计算,编码吞吐量可达9.5 GB/s;相比现有最好基于GPU编码加速库G-CRS,G-WS的编码速度仍可提升10.3%。
其他文献
2020年新冠疫情的到来对传统的教学方式提出了挑战,很多传统线下教学都需要转向线上的方式进行,使得在线教育成为了教育领域最热门的话题之一。在传统工科专业的实验教学中,实验课程的开展往往受时间与空间因素的影响。为了改进电子电路实验的传统教学方法,适应后疫情时代的在线教学模式,本文设计并实现了一套电子电路在线实境实验系统。区别于虚拟仿真实验,旨在为《电子线路设计、测试与实验》课程提供一个能够获得真实数
学位
云计算作为一种服务,有效解决了人们对于互联网的需求,目前已被广泛应用于教育、医疗、交通、政务、媒资、物流等行业。但是由于用户提交的任务具有不确定性和多样性的特点,以及网络环境的复杂多变,云计算也面临着众多挑战。目前,为了提高云计算的性能,许多学者侧重于研究云计算下的任务调度优化问题。因为用于处理任务调度问题的大多都是启发式算法,但是该类算法具有稳定性差、寻优性能取决于问题和经验等缺点,所以研究一种
学位
云环境下,分离式内存通过访问远程内存来解耦集群的计算资源和内存资源,提高内存利用率的同时提升了任务吞吐量。但在分离式内存系统当中,访问远端内存受到关键路径上传输开销的影响,延迟普遍较高,且基于分页的数据访问方法往往带来读写放大的问题,进一步增加了远端内存访问的延迟。研究新的分离式内存访问机制对降低数据远端访问延迟、提升大数据应用性能具有重要意义。针对分离式内存延迟高的问题,提出了基于分布式异构内存
学位
随着信息技术的不断发展,中小学教育的信息化也在逐步升级,一系列可穿戴设备也加入了中小学的日常教学、生活中。智能手环无疑是可穿戴设备中最亮眼、最普及的设备。从智能手环的诞生开始,心率检测以及步数统计就成为了智能手环最基本也是最广为人知的用途。除此之外,借助无线通信技术,可以定制手环一些在校园中应用的独特功能。以主控芯片STM32WB55CGU6、心率传感器、加速度传感器为基础,设计并实现了一款手环。
学位
【研究背景】在法医学实践中,主要依靠形态学的方法对死者所患潜在疾病进行诊断。然而,一些遗传性心脏病,如心律失常和心肌病等,其可能缺少明确或特异性的形态学病理改变。因此,一些死者往往因为在病理解剖中无明显形态学变化或仅存在不确定的非特异性病变而被定义为不明原因猝死(Unexplained Sudden Death,USD)或者不明原因心源性猝死(Unexplained Sudden Cardiac
学位
在天线的设计与研发流程中,天线测量技术是仿真验证后所有后续处理的基础,无法使用其他方法替代该步骤。常见的近场测量方法是利用探头天线在待测天线的近场区获取球面、平面、柱面扫描面上的离散辐射场数据,基于模式展开定理做近远场变换计算出天线的远场特性。对于应用环境复杂,难以构成球、平、柱扫描面的天线,利用上述测量技术进行测量,不仅会增加测试的工作量,而且会提高近远场变换的难度。本文针对扫描面为任意曲面时模
学位
现有雷达系统多采用载频、编码形式、重复周期、脉宽/带宽均不变的经典工作模式,该工作模式在简单场景下具有性能高、计算量小等优势,但在复杂电磁环境下,特别是强对抗电磁环境下,具有规律性强、易被侦察截获和干扰等不足。日益复杂的电磁环境给雷达发射波形优化和接收处理提出了新的挑战。针对这个问题,本文从时间和频谱两个维度,开展复杂调制波形优化方法研究,主要工作内容如下:1.针对发射波形对雷达探测性能和干扰抑制
学位
无线传感器网络(Wireless Sensor Works,WSN)和物联网的飞速发展使得微小型传感器的规模迅速扩大。目前,这些器件主要依靠电池供电,但电池储能有限,需定期维护,推高了各种传感器网络的使用成本。环境振动能收集技术为解决这一问题提供一个潜在地解决方案。然而,环境中的振动能普遍具有频率低的特点,其收集利用难度高。对于俘能器而言,机械振动可分为加速度激励(俘能器与振动源固定)和位移激励(
学位
随着大数据时代的发展,分布式内存系统已经被广泛应用来提供高性能的服务,由新型非易失性存储器设计实现的分布异构内存系统可进一步提供更好的性能。通过在本地客户端增加缓存,可以减少对远端服务器的访问,从而减小分布式系统的延迟来提高性能。然而加入客户端缓存会引发分布式系统中的缓存一致性问题,当多客户端共享同一远端数据时,需要保证本地缓存副本的数据与远端存储对象的数据是一致的。但在分布式系统中实现缓存一致性
学位
现阶段毫米波雷达凭借自身优势成为汽车驾驶应用的关键传感器,同时又因汽车雷达工作环境复杂多变,导致噪声或干扰混入回波信号,所得目标探测参数就会存在误差。而目标跟踪滤波目的在于抑制噪声带来的影响,为更准确地估计目标状态,目标跟踪是必不可少的。本文以车载毫米波雷达为背景,研究毫米波雷达的目标跟踪算法,并基于TDA3x硬件平台提出实现毫米波雷达目标跟踪的方案。首先介绍毫米波雷达的基本原理,包括毫米波雷达的
学位