快速超精度卷积神经网络(FSRCNN)的FPGA设计实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:X446873887
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实际生活中我们常常需要对模糊图像进行处理,不管是由相机抖动,还是噪声干扰、本身分辨率不够等原因引起的,都需要一种有效的方法将不清晰的模糊的图像变为清晰的图像。近期,越来越多的卷积神经网络模型被提出,可以快速高效地实现超精度图像重建的功能。经过前期的文献调研,发现快速超分辨率卷积神经网络(Fast Super-Resolution Convolutional Neural Network,FSRCNN)模型性能较好,卷积层数较少,仅含卷积、反卷积、激活函数、边界填充、加偏置等操作。接下来,获取到该模型的开源MATLAB代码及其训练后的参数。最后,参考现场可编程门阵列(Field Programmable Gate Array,FPGA)实现卷积神经网络(Convolutional Neural Network,CNN)的相关文献对该卷积网络模型进行硬件设计实现。本文针对FPGA结构,对于如何在硬件中实现卷积神经网络模型展开研究,给出了一种FSRCNN的FPGA硬件实现方法。主要的工作内容如下:本文将整个FSRCNN网络结构全部采用硬件实现,以减少对片外存储器的写入及读取操作。考虑到有限的FPGA硬件资源,无法将每层的卷积网络运算完全并行实现,因此本文在每层卷积层的实现过程中都进一步对运算操作进行了划分。若为多通道操作,则也对滤波器方向以及通道方向进行拆分与流水线设计,具体的拆分方式根据数据的输入形式与前一层输出形式的关系确定。将原浮点型的参数进行定点化,定点后的精度损失不超过1.4%。由于第三层至第六层为类似结构,因此本文在三至六层复用了同一个计算模块,在没有增加额外延迟时间的同时节约了部分计算资源。对卷积核参数的存取方式进行设计,节约了卷积计算前数据准备所需的时间。对从特征图中取出卷积窗口的过程进行了硬件设计与实现,在实现滑窗操作的同时能够自动实现每层对应的边界填充效果。对反卷积层的算法进行了优化,避免了中间结果的反复存取与叠加,提升了计算效率。总体而言,本文给出的FSRCNN模型的FPGA硬件架构主要基于Zynq7035FPGA,在硬件上完成了整个网络的结构设计与实现。验证时采用大小为360*202的输入图片并放大为1080*606的高分辨率图片,信噪比为25.94 d B,相比于浮点运算结果仅下降了约0.21%。结果表明,本设计能够在有限的硬件资源下实现FSRCNN模型的功能,工作频率为12.5 MHz,运算周期数约为4192.7 K,吞吐量为5.2 GOPS(每秒十亿次运算数)。
其他文献
磁场传感器的应用十分广泛,在国防建设、科学技术、医疗卫生等领域都发挥着十分重要的作用,是传感器产业的一个主要分支。AMR线性磁场传感器因其灵敏度高、工艺简单、易于集成、成本低、噪音小等优点,是应用最为广泛的磁场传感器之一。AMR线性磁场传感器的性能除了受制备工艺的影响,还受几何参数设计的影响。目前国内的研究主要集中在薄膜材料和工艺上,在传感器的尺寸设计方面研究还较少,因此本文主要研究不同的设计参数
太赫兹波位于微波和红外波之间,具有瞬时性、光子能量低、高穿透性等优良特性,可应用于高灵敏度检测、高精度成像和无线通信等领域。由于太赫兹电磁波不会对生物组织产生负面的电离危害且很多生物大分子在太赫兹波段具有较强的集体震荡,可以增强对生物分子检测的灵敏度,随着太赫兹频谱技术的发展,太赫兹波在生物传感方面的研究成为一个重要方向。超材料(metamaterial)是一种具有特殊的物理特性的人工复合电磁材料
三维霍尔传感器是为了满足现代产业的极速发展而出现的。现在的三维霍尔传感器大多由硅材料制成,其具有良好的工艺兼容性,但由于硅材料的载流子迁移率低、禁带宽度窄,基于硅的霍尔传感器的灵敏度较低、温度稳定性较差。GaAs材料的载流子迁移率高、禁带宽度大,用其制备的霍尔传感器具有更高的灵敏度与更好的温度稳定性,并且可以利用GaAs基异质结的高迁移率载流子特性来进一步提升传感器的性能。本文首先对GaAs基异质
在过去的几年时间里,4G的普及推动着移动互联网行业的飞速发展;可以预见在未来的几年时间中,5G的全面铺开也必将会给物联网带来新的发展。随着网速越来越快,人们对信号传输过程中的编译码时延要求也越来越高。近些年深度学习在很多领域已经取得了重大的突破,也越来越多地被应用于各行各业,其“一次训练到处推理”的特点非常适合用来处理信道译码任务。利用深度学习,在神经网络中学习到某种编码的特征,将带有这种特征的模
近年来,视频作为可视媒体数据的重要组成部分深深影响着人们的生活。视频信号在产生、传输过程中常受到噪声的影响,给用户带来不良的视觉体验。视频去噪是提升视频质量的有效手段,并且是视频处理领域的热点研究问题之一。近年来,基于经典信号处理方法的视频去噪已经遇到了技术瓶颈,基于深度学习的去噪方法正成为主流的视频去噪方法。基于深度学习的视频去噪方法虽然带来了去噪性能的显著提升,但仍无法充分利用视频内部的先验信
在已经步入信息时代的今天,我们的生活中每时每刻都在产生着不计其数的视频数据。而在安防领域,覆盖城市的监控摄像头网络,每天在保卫着人们的生命与财产安全的同时,也会产生大量的监控视频数据。在发生事故后,监控视频通常是用于还原事故原因、追查嫌疑人的有效法宝。但覆盖整座城市的监控网络,其产生的视频不仅数量巨大,而且并非全部视频都包含有用的信息,在人群稀疏处的监控摄像头可能拍摄的大部分视频都是背景。大量的监
伴随着世界更加数字化、信息化,人们开始渴望通信系统领域的相关技术应用可以更加智能化。近年来,一大批深度学习研究学者将目光逐渐深入到军事雷达通信和卫星导航等领域,不断地有基于深度学习的信号调制识别、载波信号检测等算法被提出。然而,深度学习算法复杂,运算起来通常比较耗时。在对相关技术的实际应用中,人们还是希望可以在小巧易携带且节能环保的嵌入式设备上实施操作,并希望能够在低功耗的嵌入式设备上,更快地实现
目前许多无线传感器网络已经用在了环境安全监测中,以至于当安全事故即将发生时安全监测中心能够根据传感器所采集过来的信息提前做出预警;但是当安全事故真正发生时,很多时候安全监测中心并没有提前做出预警或者预警不及时,从而导致人员伤亡。监测系统没有正常运行的原因之一是输入到监测系统中的传感器数据不正确,导致监测系统无法识别出当时环境中的真正情况,从而没有发出预警;因此在监测系统处理对数据进行处理之前,需要
大功率毫米波回旋行波管由于其输出功率大、工作带宽宽、效率高等优点,因此其能够在军事、航空、国防等重要领域发挥重要作用,而要使得回旋行波管正常需要大功率高压电源系统为其进行稳定的供能,因此必须确保大功率高压电源系统工作的稳定性。但因为行波管在工作时可能由于真空度异常而产生打火现象,从而对大功率高压电源系统造成损害,进而影响整个行波管的工作,并且由于大功率高压电源系统其内部关键信号的正常产生与否是确保
近些年来,人工智能在各个领域发展迅速,特别是在物体识别,视频监测等方面发挥着十分重要的作用,人工智能所表现出来的卓越成绩和优秀的学习能力,使得越来越多的学者对人工智能产生了极大的兴趣。人的大脑可以控制生物完成十分复杂的学习行为,受此启发使得神经网络得到了发展,卷积神经网络作为神经网络的重要分支,具有容易实现且易训练的特性,同时,卷积神经网络的运算速度也使其发展面临着更严峻的挑战。因此本文提出了一种