基于嵌入式GPU的实时视频超分辨率算法研发

来源 :浙江大学 | 被引量 : 0次 | 上传用户:Thunder_
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频超分辨率是一种将低清视频流转换为高清视频流的图像处理技术。近年来,基于深度学习的视频超分辨率算法的重建指标已经超过了传统算法,但是这类算法的模型参数量通常较大,即使在高性能的服务器上也很难达到实时推理,导致算法难以在实际场景中得到广泛应用。为了降低视频超分辨率算法的模型参数量、加快网络的前向推理速度,本文对实时的视频超分辨率算法展开研究,主要内容如下:(1)为了解决参数量小的算法无法有效应对视频中大规模运动的问题,本文研发了基于3D卷积的视频超分辨率算法。首先利用多尺度的可变形卷积结构来估计相邻帧关于中心帧的运动,然后设计了基于3D卷积的时空融合结构来融合不同时刻运动估计后的特征图,并采用深度可分离卷积方案来降低模型的参数量,最后设计了基于注意力机制的特征重建结构来关注网络中重要的特征通道。实验结果表明,该算法在保持较高重建指标的同时能以更快的速度对视频进行前向推理,在REDS4数据集上的PSNR与SSIM值为27.69dB与0.8055。(2)为了提高基于3D卷积的视频超分辨率算法的计算性能,本文在该算法的基础上通过优化网络结构设计得到轻量级视频超分辨率算法。为了提高该算法的重建指标,本文设计了一种面向视频超分辨率算法的知识蒸馏方法。实验结果表明,知识蒸馏方法训练得到的模型能够取得0.45dB重建指标的提升。在比较的三种参数量小于2M的算法中,本文的轻量级视频超分辨率算法在REDS4数据集上的PSNR与SSIM值达到最优,分别为26.89dB与0.7725,同时能够以34.76fps在Nvidia 1080Ti的服务器上进行推理;在Vimeo-90k数据集上,本文的轻量级视频超分辨率算法的PSNR与SSIM值分别为33.52dB与0.9128,接近主流视频超分辨率算法的效果,并且能在嵌入式GPU Xavier上以27.55fps的速度对视频进行前向推理。
其他文献
在现代物流仓储场景中,快递包裹吞吐量日益增加,如何实现高效率的货物分拣成为现阶段仓储管理系统发展的重要目标。目前仓储场景中已基本实现摄像头的全覆盖,利用这些摄像头搭建人员全局定位跟踪系统有助于实现仓储场景内“人-货-场”的协同优化,提高分拣作业效率。然而,目前广泛使用的目标检测算法难以实现对仓储场景下被遮挡行人的检测,常用的多目标跟踪算法无法鲁棒跟踪仓储场景下着装统一的行人。针对上述问题,本文设计
指纹识别是应用最广泛的身份认证技术之一。随着移动终端集成度的增加和消费者对终端轻便性要求的不断增长,指纹传感器采集面积不断减小,从而导致了用于指纹匹配的有效信息减少;另一方面,移动终端上指纹的采集条件复杂多样,且诸如皮肤龟裂、污渍等不利条件会对指纹图像造成影响。因此,小面积低质量指纹识别技术不仅是一项具有广泛应用前景的身份认证技术,而且是一项迫切需要解决的技术难题。本文的研究聚焦于低质量小面积指纹
实时流数据作为高速连续到达的数据序列,在工业控制,实时监控,自动驾驶,信号处理等与嵌入式系统密切相关的领域广泛出现。随着嵌入式系统对实时流数据的处理性能要求越来越高,嵌入式系统上传统的实时流数据处理系统遇到了瓶颈,数据传输速度、实时性与数据处理带宽等方面的问题越来越突出。针对嵌入式系统对实时流数据进行处理时数据传输速度、实时性与数据处理带宽等方面的问题,本文给出并论述了一套基于VPX嵌入式系统的高
三维点云的语义分割是实现三维场景理解的基础和关键,准确的点云语义结果对于自动驾驶、工业检测及数字医疗等领域都具有重要的实际意义。随着实际应用场景越来越复杂,传统人工设计的特征算子陷入了瓶颈,而基于数据驱动的深度学习方法在语义分割的精度上有了巨大的提升,但仍然存在以下不足:基于单一视图的点云语义分割算法存在着局限性,导致难以达到性能与精度的平衡;点云的多视图融合虽然可以利用不同视图之间的差异性来提升
徽标(Logo)是代表企业形象的重要标志,正确和规范地使用Logo尤为重要。随着信息化的快速发展,办公文件数量与日俱增,海量办公文件中的Logo缺陷检测需求也随之增长,但传统的人工检测耗费人力、物力等大量资源,并且人工检测会因疲劳损耗导致Logo缺陷误检和漏检,因此自动化的Logo缺陷检测尤为重要。本文以实验室合作的软银SB C&S公司的Logo为主要研究对象,设计了基于图像处理的Logo缺陷检测
作为新兴的开源精简指令集,RISC-V在微处理器市场中的占有率逐年上升,由于其缺乏硬件层面的安全隔离机制,如何确保微处理器的安全性成为了亟需解决的问题。本论文针对RISC-V的安全性问题,对其做了以下改进:(1)与主流硬件隔离机制相似,将处理器的安全状态划分为安全世界与普通世界,将内存资源划分为安全区域与非安全区域,安全世界能访问安全区域和非安全区域,而普通世界只能访问非安全区域。(2)在本设计中
密码技术作为网络信息安全的核心技术和基础支撑,其重要性已经逐渐上升到国家战略层次。本世纪洎今,中国持续搭建自己的现代密码体系,公开商用密码算法并鼓励其研究开发和推广应用。而安全场景的不断多样化和复杂化,对密码算法的实时性、安全性和灵活性都提出了更高的要求。本文面向通用的安全应用场景,通过统计分析大量密码算法并归纳其典型特征,研究设计了一种适应密码算法的专用指令集处理器(Application Sp
近年来,人工智能飞速发展并在许多领域得到了应用。然而神经网络庞大的数据量对硬件的密集型数据处理能力是一个新的挑战。传统的冯诺依曼结构由于存储器和处理单元的分离,需要多次地存取数据,形成了“内存墙”问题。而存内计算架构通过赋予存储器计算功能解决了数据存取的问题,非常适合用于实现神经网络等高数据密度的应用。一些新型的阻值非易失性存储器的出现,为低功耗,高集成度的存内计算核的实现提供了更多可能。现有的存
当前在传感器数据融合、在线医疗诊断、健康大数据等领域,数据库应用需求呈现数据多模态、来源多元化和用户需求个性化、定制化的趋势。开源数据库拥有可扩展和能按需定制等商用数据库不具备的优点,可适用于各种特定的数据库应用领域。然而,开源数据库往往存在安全审计工具不够完善、缺少集成化的安全审计组件等问题。因此,对开源数据库的安全与审计技术及其组件开展研究有很好的实际应用价值。针对以上需求,本文完成了一种面向
心电信号作为一种包含大量病理信息的生物电信号,被广泛应用于心脏病的临床诊断,是推进远程医疗应用的重要材料。心电信号作为一种微弱、非线性且不稳定的人体生理信号,具有低幅值、低信噪比和随机噪声的特征,高质量的心电信号可以帮助医生识别生理特征和诊断病理现象。本文主要针对心电信号的特点,对心电信号预处理、特征提取及医疗应用过程展开研究,提出了一系列对多类型心电信号记录的分析方法。主要的研究内容如下:1、提