基于FPGA内存总线位宽可感知的图像超分压缩技术研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:m83692590
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,借助于海量的数据信息,具有复杂结构的深度神经网络以强大的特征学习和表达能力在计算机视觉领域超越了手工提取特征的传统方法。伴随着网络性能的提升,网络中参数数量也成倍的增长,这给在计算、存储等资源受限的硬件设备上部署模型带来了巨大的挑战。因此,将优秀的模型算法加载到端侧设备上运行,提升资源受限平台上深度神经网络的性能,有利于技术的落地,具有很大的应用价值。针对上述问题,本文提出了一种基于FPGA的内存总线位宽可感知的剪枝算法对图像超分辨率模型进行压缩。提出的剪枝算法利用卷积层中滤波器几何中位数特性,结合滤波器自身的L1范数,去除对网络贡献较小或具有冗余信息的滤波器,以完成网络模型的剪枝,实现减少网络参数的目的。然后使用INT8量化算法对剪枝后网络模型中的参数进行低比特量化,进一步压缩模型的大小。最后本文设计了基于FPGA的卷积网络加速器对压缩后的模型进行加速。提出的剪枝算法综合考虑FPGA的内存总线位宽,通过对数据流的重新排布,对齐内存总线与数据位宽,减少对内存数据的访存开销,提升了FPGA的执行效率。同时利用FPGA高度的灵活性和并行性,针对优化后的算法特点,定制化加速器硬件电路。实验表明,本文设计的剪枝算法和原模型相比,峰值信噪比提高到35.58d B,实现了1.3%的精度提升。同时参数数量减少46.93%,推理速度由原模型平均单张图片耗时5.1s减少到1.7s,实现了约3倍的速度提升。
其他文献
与传统的信息检索系统相比,问答系统提供了一种更为自然的人机交互方式,使得用户能够通过自然语言的方式与机器交流来获取信息。但在很多的实际应用中,机器需要主动地向用户提问,通过理解用户给出的答案来确定用户的真实意图,这个过程被称作反向问答。然而,当前几乎所有的解决方案都通过强制用户点击选项来避免自动的答案理解,这极大地破坏了用户的体验。针对答案理解任务,文章设计了相应的深度学习模型,旨在为用户提供一种
二维人脸识别面对光照、妆容、姿态和遮挡等因素的变化表现较差,在实际应用中对采集的图像要求较高,需要采集到正面清晰图像。而三维人脸数据因为包含二维人脸图像无法提供的深度信息,从而可以有效地应对光线变化与妆容变化等带来的干扰。传统三维人脸识别方法过程复杂,而基于深度学习的三维人脸识别方法,由于缺少足够规模的数据集,目前还无法达到二维人脸识别的研究水平。基于我们的调研,目前相关研究成果中,多是基于已有三
曲率是曲线和曲面重要的几何量,是图像、视觉分析以及计算机图形学的基本几何元素。而欧拉弹性是较早被应用到图像处理领域和计算机视觉中的基于曲率的方法。考虑到曲率在连接缺失的边缘和结构方面出色的能力,我们通过欧拉弹性提出了新的稀疏重建模型。特别地,我们首先将欧拉弹性正则化模型拓展为非局部形式,充分利用图像的模式冗余和结构相似性。由于欧拉弹性项非凸、非平滑、非线性,我们将局部和非局部弹性正则项视为加权总变
信息时代的用户需求趋于个性化、多样化、动态化,如何准确地掌握用户需求并快速地实现其向工程语言的转化成为企业关注的重点问题。如今越来越多的垂直网站、电商网站、产品论坛、社交媒体、问答社区可以为消费者提供广阔的意见表达平台,由此产生的评论内容能够较为真实地反映用户需求与产品缺陷。根据互联网评论数据挖掘用户需求并将其转化为指导产品设计的技术要素,能够帮助企业较好地了解用户体验以及较快地推动产品开发。本文
相比于传统CT,能谱CT利用不同能量光子关于物体衰减的差异性进行成像,能够提高物质分辨能力和准确的材料分离和定量化信息,逐渐成为近年来医学成像领域的研究热点。本文以研究能谱CT成像探测和自动分割技术为目标,对基于边缘入射探测器的成像仿真系统进行级联分析,并提出了改进的CT影像自动分割算法。在CT成像探测方面,本文建立基于边缘入射探测器的CT成像模拟系统,对内部设置相对完善的物理环境的同时利用复合能
光电跟踪系统是一个集光、机、电于一体的远距离光学跟踪成像系统,近年来在海上搜索、靶场测量、国防安全等领域,作为雷达探测的补充装备,在获取目标的精准定位和清晰成像方面上有着不可替代的作用。系统采用闭环控制,将指向器采集到的目标信息经图像处理板处理后传输到显控台,再由显控台根据图像信息生成指令控制指向器,实现对目标的监测跟踪。但由于运动目标会导致系统成像出现不同程度的离焦模糊,影响光电跟踪系统对目标的
知识图谱表示学习的目的是将知识图谱中的实体和关系嵌入到连续低维向量空间中,以便在保留知识图谱结构的同时提升下游机器学习任务的性能。但已有的知识表示学习方法大多仅将工作重心放在表示三元组中的结构化信息,而忽略了语义信息对于知识表示学习的重要性。本文将从关系层次结构和实体类型这两类语义信息入手并分别提出对应的知识表示学习方法。关系层次结构,是由关系间的泛化关系subRelation Of构建而成的结构
为了保护图像的信息安全,图像加密技术已经成为信息安全领域研究的重点问题。其中最具有代表性的技术是基于双随机相位编码(Double Random Phase Encoding,DRPE)的图像加密技术,该技术近年来得到了广泛发展。本文总结分析了基于DRPE的光学图像加密的一般框架,并在一般框架下提出新的加密技术。具体内容如下:(1)本文总结了基于DRPE光学图像加密技术的一般框架,一般框架由预处理操
分子成像技术的出现为生物体内肿瘤的无创可视化打开了大门,各类分子成像探针也在快速的被开发研究。一些成像探针在肿瘤成像方面表现出良好的成像效果,但其潜在的生物安全性难以预测,限制了其近一步的临床应用。基于蛋白质的成像探针由于具有良好的生物相容性、可灵活设计性和较好的成像效果而被广泛关注。本论文围绕基于蛋白质的成像探针的设计合成、性能及生物应用进行了一系列研究,主要研究工作归纳如下:第一章,主要介绍了
近年来,随着计算机视觉技术和计算机硬件的迅速发展,动作识别作为计算机视觉中的热门研究领域,已经在视频监控、人机交互、虚拟现实等领域得到了广泛的应用。目前,动作识别的研究主要集中在人类动作识别领域,除此之外,工程机械的动作识别也开始获得研究人员的关注。建筑行业管理人员可以通过工程机械的动作识别迅速掌握设备的施工信息,及时做出判断并采取应对措施,以达到提高生产效率、节约成本和节能减排的目的。但是在工程