基于ZFS文件系统的容错编码校验技算优化设计与实现

来源 :南开大学 | 被引量 : 0次 | 上传用户:sisi_g
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着存储系统双容错编码在商业产品中的使用越来越多,它们的编码、解码优化也受到越来越多的关注。RAID6是一种重要的容双错编码RAID结构[1],并且有Reed-Solomon编码和一些基于异或操作的奇偶校验阵列码(简称阵列码)满足它的规范。过去的工作多数集中在对Reed-Solomn编码的优化研究[2,3,4,5],关于阵列码的优化研究工作并不多。因此,本文的研究重点是EVENODD、RDP、Liberation三种基于异或操作的阵列码的优化算法设计与实现,并将编码及优化算法引入到ZFS文件系统中。   编码计算具有数据密集型的特点。针对这一特点,本文设计了串行和并行两类优化算法加速编码计算。   串行优化算法主要关注编码计算中Cache的优化。考虑到L1/L2级高速缓存的大小、cache line的大小等硬件参数,本文还设计了调整计算顺序以及子条纹编码的算法。串行优化算法在AMD中低端CPU上的测试结果最好可以达到3.5GB/s的编码带宽。这个编码速度可以满足目前最快的存储设备的需求。   并行优化算法的思路则是利用GPU的大规模浮点计算能力,将编码计算任务交由GPU来并发完成。这样不但能加速编码计算,还能释放CPU资源。因此,并行优化算法设计的目标是设计高并发度的编码、解码并行算法,划分计算任务。本文使用CUDA技术实现GPU编码计算,设计了三种阵列码的并行编码、解码算法以及块/线程划分策略。在Nvidia9800gt force显卡上,并行优化算法最快的编码速度到达2.5GB/s。   此外,本文将EVENODD、RDP编码以及优化算法引入ZFS文件系统中,提高了ZFS磁盘阵列的读写速度。
其他文献
随着软件规模和复杂性的日益增长,人们对软件的复杂性进行分析和度量的要求越来越高,因此对软件复杂性分析技术的研究已成为软件工程学中的一个热点。迄今为止,国内对软件复杂性
学位
当前,存储系统网络化、对象化的趋势越来越明显,这对网络存储安全技术提出了极大的挑战。网络存储安全涉及网络安全与存储安全两方面,其核心是为了保证数据信息的逻辑安全。
学位
学位
互联网自诞生以来得到了迅猛的发展,Web信息更是呈现出指数形式地增长。传统的单机多线程主题爬虫已经不适合用来完成海量信息的抓取工作。正是在这样的背景下,云计算的出现
随着“互联网+”发展,与人们生活息息相关的多标签数据将会大量产生。由于多标签学习过程中需要考虑属性特征与多个标签、标签之间的相关性,从而使得多标签学习在分类和降维
蓝牙技术以其短距离通信和低功耗等特点在无线通信领域占据着重要的地位,广泛应用于日常生活中的诸多领域。现在蓝牙的研究方向主要包括蓝牙协议的研究和蓝牙应用的研究。  
学位
基于体系架构以构件或服务为构成要素的软件开发方法是当前复杂分布式系统的主要构造方法。然而,随着分布式系统面对的环境和需求变化越来越快,分布式系统对适应性的要求也越来
学位
随着电子工艺的进步,多核技术在计算机各个方面的应用日益普及,片上网络作为多核系统的重要组成部分是决定其性能的因素之一,因此成为研究的重点。由于片上网络能耗的计算对
学位
数字图像放大和恢复是当今图像处理领域的重要内容,而如何将图形和图像有效地结合起来更是一个现实的挑战。为了在考虑图像局部特征的同时保持算法的灵活性,首先,本文根据图
随着计算机与网络技术的迅速发展,现代办公自动化(OA)系统的定义已由原来简单的公文处理扩展到了整个企事业单位的信息交换平台,成为现代社会的重要标志,同时也是部队信息化
学位