基于CUDA的无损压缩算法研究

来源 :天津科技大学 | 被引量 : 0次 | 上传用户:xuzhangzhe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的发展,计算机系统所需处理的数据量不断增长,数据压缩成为解决该问题的关键技术。然而目前大部分压缩算法只能在CPU上使用,不能应用GPU的并行计算性能,其并行化进展缓慢,部分压缩算法仍然是单线程,实际中使用的GPU压缩算法更是匮乏。因此本文提出了一种可以在NVIDIA GPU上实现的并行压缩算法,对于文本文件,在保证压缩率处于较好水平的同时,也能达到较高的压缩速度。该算法在enwik8数据集上达到了0.241的压缩率和140MB/s的压缩速度,在该数据集上与压缩率相近的常用压缩软件相比,本算法的压缩速度是7z的36倍、rar的3.7倍。为了达到以上性能本文主要进行了以下研究:(1)探索了在有限的计算量下提高压缩率的方法。为了细化上下文的阶数,对N阶上下文使用决策树建模,获得了比单独使用N阶上下文更好的结果。然后分别对N阶上下文和决策树给出的概率进行加权融合,使用随机梯度下降法进行训练,使压缩率进一步优化。针对上下文具有不同的采样次数和信息熵的特性,对使用随机梯度下降的加权融合进行改进,使用采样次数和信息熵生成了二维的权重矩阵,获得了更好的压缩率,在enwik8数据集上压缩率超过了常用压缩格式。(2)在GPU上实现了压缩算法,通过BWT变换和0阶熵编码来完成压缩。为了提高对字符串的比较速度,使用Manber-Myers倍增算法进行BWT变换。为了降低对少量数据进行多次重新排序造成的影响,对原算法进行改进,使用归并排序来对这些数据进行排序,使后缀数组排序速度变为原来的2.9倍。同时本文实现了GPU上的区间编码,并用二分查找来优化解码速度,通过减少访存次数优化了编解码的速度。为了解决每个线程的共享内存的大小小于字符数量的问题,使用有限的码表节省共享内存的使用,提高了统计的速度。为了对不同长度的历史信息进行加权,对统计结果使用指数函数更新,提高了压缩率。对统计和编解码的速度进行了测试,统计和编码的速度达到了2.38GB/s,统计和解码的速度达到了1.20GB/s。
其他文献
铜绿假单胞菌(Pseudomonas aeruginosa)是自然界常见的机会致病菌,能够引起人类一系列感染,同时也是导致食品腐败的主要病原菌。近几年,由于抗菌素的广泛使用,导致其耐药性菌株频繁出现,其耐药性菌株的出现给食品安全和环境卫生等方面带来了严重的威胁。噬菌体作为抑菌剂与抗生素均可达到抑菌效果,噬菌体作为抑菌剂可特异性抑制细菌增长的同时其自身也在不断增长,相比于抗生素其有更好的应用前景。因
学位
有害污染物芳香烃在环境中检出率较高,深入开展芳香烃多重降解途径转录调控机制的研究,有助于理解芳香烃降解菌株的复杂调控机制,为构建高效萘降解菌株提供理论依据。尽管已有一些研究表明降解菌中调控蛋白之间的协同调控机制在不同菌株之间存在不同,但仍需要进行更广泛且深入的研究。P.putida ND6是本研究课题组分离所得的高效萘和苯甲酸降解菌,其独特之处在于存在一些诸如调控基因nah Rp和nah Rc这样
学位
电容式位移传感器具有结构简单、分辨力高、抗干扰能力强、动态特性好等优点,是非接触式微位移测量的一种重要测量方法,在精密加工、高精度定位、高精度测量等领域得到了越来越广泛地应用。随着科学技术和工业的快速发展,对电容式微位移测量性能指标的追求也越来越高,迫使不断改善传感器的不足之处。由于寄生电容、传感器探头结构、电容检测电路输出信号与电容大小呈非线性等因素,使得电容式传感器的分辨力和测量范围受到很大的
学位
文章以龙门石窟现存造像题记为切入点,细致梳理了石窟与洛阳城行政区划的相关资料,涉及洛州、河南县及洛阳县,城内建置类型包括里坊、市场及寺院。同时,结合历史文献资料,构筑了题记所呈现的洛阳城社会空间。在都城研究整体观的视野下,作者重新审视了隋唐洛阳城与龙门石窟的空间关系,可以概括为“南北呼应,城窟一体”,自隋至唐,龙门实现了从洛阳城中轴线南端基点到佛教圣地的转变。
期刊
三阴性乳腺癌(TNBC)具有恶性程度高、易转移的特点,由于常见靶点雌激素受体(ER)、孕激素受体(PR)和人表皮生长因子受体2(Her-2)均为阴性,目前尚无明确针对TNBC的靶向药物,因此寻找针对TNBC的治疗靶点仍是目前全球研究的热点。本课题组前期设计合成了一系列嘌呤类结构衍生物,筛选发现化合物G-4在体内外具有良好的抑制TNBC增殖和转移的效果,但其靶点尚不明确。本课题利用高通量转录组测序分
学位
智慧医疗在就诊效率、准确性和安全性等方面表现出较高的优越性,因而有着较为广阔的市场应用前景。深度学习技术的发展为人工智能在医疗领域的落地提供了重要技术支撑,而医学影像辅助诊疗技术则是其具体应用之一。传统的阅片工具只能实现影像调阅、长度测量等,无法精准获得影像中更多、更有价值的病理信息。因此,还需要进行大量的人工分析提取关键信息,这无疑增加了一线医生的工作量。而基于人工智能的检测技术利用深度学习算法
学位
作为衡量人体健康水平重要指标之一的人体血红蛋白浓度,其相关的检测技术一直是近年来医疗仪器方面的研究热点;而动态光谱法理论上拥有可以抑制个体差异和测量环境对测量数据影响的特性,其证明了人体血液内成分浓度与对数透射光强度最大差值成线性关系。本文基于动态光谱法设计了人体血红蛋白无创检测系统。本文基于STM32F103开发平台设计了一种八波长近红外光的光电容积脉搏波(Photoplethysmograph
学位
如今人们出行都离不开汽车,安全出行一直以来都是与人们息息相关的事情。自工业革命以来,汽车速度越来越快,安全隐患越来越大,人们开始划分车道并制定相关交通规则保障出行安全。进入21世纪,智慧出行更是成为交通领域的追求。智能化汽车能否在特定情况下代替驾驶人员做出稳妥的选择是智能系统研发人员、交通管理人员和乘客所关心的问题。车道线识别作为车道偏移预警、车道保持和路线规划等高级驾驶员辅助系统的基础,必须保证
学位
唐开国元从功臣及其后裔的洛阳宅邸,呈现相对集中分布的趋势,即漕渠以北的洛北里坊区、以洛阳南市为中心的里坊区、以定鼎门大街北部为中心的里坊区。基于军事、政治、防洪的要求和隋代以来洛阳营建的影响,洛北里坊区是开国元从功臣首先选择的区域。因唐太宗对洛阳地区的经营,居住在洛北里坊区的元从功臣,多与其有密切联系。王朝稳定之后,以定鼎门大街北部为中心的里坊区,因进入皇城宫城之便利,遂成为高层文武官员优先选择的
期刊
目前常见的指纹识别、虹膜识别等单模态的生物特征识别方式,存在准确率低、安全性差、局限性高等缺点,无法满足当下身份信息安全的需求。基于此,本文选用具有高度防伪、无法复制、活体检测等优势的指静脉,和具有易获取、非接触等优势的人脸,设计研究了一种同时识别体内生物特征与体外生物特征的双模态特征层融合识别方法。本文的主要研究内容如下:(1)为剔除指静脉公开数据集中图像背景、噪声等无用信息的干扰,首先对图像进
学位