【摘 要】
：
随着数字技术的发展,数字视频的应用和需求日益增大;然而视频采集常常受成像系统以及环境等因素的影响,导致视频分辨率较低而无法满足需要。基于软件方法的视频超分辨率重建技术能够将低分辨率视频帧融合成较高分辨率的图像,成为近年来计算机视觉方向的研究热点。目前基于深度学习的视频超分辨重建算法大多依赖帧间对齐而忽略了帧间时序相关性。本文从注意力机制的角度出发、融合时空信息,提出基于时空注意力机制的视频超分辨率
论文部分内容阅读
随着数字技术的发展,数字视频的应用和需求日益增大;然而视频采集常常受成像系统以及环境等因素的影响,导致视频分辨率较低而无法满足需要。基于软件方法的视频超分辨率重建技术能够将低分辨率视频帧融合成较高分辨率的图像,成为近年来计算机视觉方向的研究热点。目前基于深度学习的视频超分辨重建算法大多依赖帧间对齐而忽略了帧间时序相关性。本文从注意力机制的角度出发、融合时空信息,提出基于时空注意力机制的视频超分辨率重建算法,以期得到较好的整体重建性能。具体工作如下:（1）现有算法通常采用非局部方法捕捉帧间的全局相关性,用以补充帧间信息,但是缺少帧间相关性的确切描述;并且在计算时只考虑像素点对的相关性;因此得到的相关性未能体现相邻帧特征之间的空间相关性,导致特征匹配效果差。本文利用余弦相似性度量对向量空间的敏感性,引入自适应余弦时空非局部模块用于视频超分辨重建网络:通过余弦相似性对帧间时空相关性进行度量,确定帧间特征的自适应加权向量,进一步修正相邻帧与参考帧之间的时空关系。实验结果显示:本文算法在视频超分辨常用测试集Vid4和SPMCS-11上的性能要优于目前大多数主流算法,其中与主流RBPN算法相比,在Vid4和SPMCS-11测试集上PSNR分别提升了0.2dB和0.18dB。实验在整体上体现了本文算法的有效性和一定的优越性。（2）现有主流的循环卷积神经网络的视频超分辨重建算法对帧间进行时序建模时,无差别地处理帧间时序信息,忽略了其分布的非均匀性,使得帧间信息融合未能体现真实的时序关系,导致最终重建效果不理想问题。本文从帧间时序非均匀性入手,采用一种基于局部一致性原理的时空注意力机制,对时序信息分布进行数学建模;通过度量帧间的局部相关性,使得重建网络能够有针对性地处理帧间时序信息,从而得到更好的重建效果。实验结果显示:本文算法在视频超分辨常用测试集Vid4和SPMCS-11上的性能要优于目前大多数主流算法,其中在Vid4上与主流FRVSR算法相比PSNR平均提升了0.35dB,在SPMCS-11上与主流DUF算法相比PSNR平均提升了0.24dB。实验在整体上体现了本文算法的有效性和一定的优越性。
其他文献
传统的多目标跟踪算法都是根据点目标的假设,即在一次扫描中对单个目标只会形成至多一个点量测。由于激光雷达等新硬件的发展,每一个目标将会可能产生多个量测,目标的形状和范围将变得不可忽视,在对目标质心跟踪的同时,还要对目标的形状与范围等信息进行估计,由此产生了扩展目标跟踪问题。目前,扩展目标跟踪技术已经越来越多的应用于如室内外定位,自动驾驶,环境感知等领域。近年来,随着对随机有限集理论的进一步深入研究,
目标检测作为深度学习的一个重要分支,已经被广泛应用于智能交通、工业质检和自动驾驶等领域,创造了巨大的经济价值,降低了人工成本。近年来对目标检测网络的改进主要集中在网络结构、数据预处理等方面,忽略了网络超参数的重要性。实验表明目标检测神经网络对超参数敏感,为了得到适应具体场景的最佳参数,往往需要耗费研究者大量的精力。因此,设计针对神经网络特点的高效超参数优化方法意义重大。本文对目标检测网络中的锚点超
随着信息化的加速,新能源汽车、5G、人工智能和元宇宙等新兴产业蓬勃发展,电源管理芯片的应用场景更加广泛,各行业对电源的品质要求也越发严格,目前开关电源朝着高效低能耗、高功率密度、控制数字化、智能化和抗电磁干扰的方向发展。本文结合车载系统、通信电子及工业控制等应用场景,针对主流开关电源芯片存在的工作效率低下、系统瞬态响应速度慢和保护电路不够灵活等亟需解决的问题,进行了环路补偿优化、高效率和瞬态响应增
近年来,步态识别领域的研究受到了学术界的极大重视。早期的步态识别算法通常基于计算机视觉或压力传感器,随着微机电系统（Micro Electro Mechanical System,MEMS）技术的发展,基于MEMS惯性传感器进行步态识别已经成为主流。步态识别是从惯性传感器数据中提取不同步态类型的特征,以识别受试者的运动状态。步态识别算法通常基于机器学习或深度学习,目前的研究大多采用卷积神经网络提取
随着计算机硬件能力的提升和计算机视觉理论体系的不断完善,SLAM技术得以快速发展。目前视觉SLAM系统中以基于特征点法的前端作为主流,特征点法鲁棒性好,对环境、光照、动态物体不敏感,是现在比较完善的前端方案。但是当图像中提取不到足够的特征信息或者特征匹配效果较差时,系统后续的位姿估计准确度会受到很大的影响,甚至出现跟踪丢失的现象。针对特征点法存在的问题,本文对其做出改进,并提出针对多特征场景的视觉
在智能化立体车库中，RGV作为重要的车辆运载装备，其运行精度、稳定性要求较高。传统RGV控制主要关注RGV软启动，定位准确性，对于柔性加减速控制关注较少。当前的加减速算法包括直线加减速法、指数加减速法、多项式加减速法、抛物线加减速法、S曲线加减速法等算法，存在加速度突变，不能体现柔性加减速的思想，或者算法复杂需要消耗控制器大量逻辑运算时间，抑或固定在控制器参数不方便调节。为此建立基于PLC控制的两
随着航天技术的发展和相关应用的深入,卫星等空间目标的数量日益增加,空间目标监测的重要性不断提高。而随着空间态势感知能力的提升,监测任务已不再局限于探测和跟踪,在轨姿态作为反映空间目标运动状态的重要参数,也受到了越来越多的关注。逆合成孔径雷达（Inverse Synthetic Aperture Radar,ISAR）具有全天时、全天候、远距离探测的能力,可以对目标进行高分辨率二维成像,获取目标的形
伴随着电子信息技术的高速发展,无人作战飞机（UCAVs）凭借其出色的作战能力和低维护成本,成为了世界各国在信息战上的焦点。无人机自出现后已经改变了现代战争形式,也已经发展出多种多样的军事用途,而具有低成本特性、能够协同作战的无人机集群将在未来战争中发挥优势,是未来战争中的关键。而未来战场中信息量爆炸,无人机能否获得有效的战场态势信息,形成有利的决策是无人机对抗研究中的基础和重点。应用强化学习方法的
数字图像是以二维数字像素组形式表示的图像类型,因其具有信息质量高、传输能力强、处理相对简单等特点而在众多领域得到了广泛应用,已成为日常生活中不可或缺的信息表达方式之一。近年来随着各种图像编辑软件的不断涌现,人们对图像的修改与编辑越来越容易,甚至能够轻松实现对图像内容的篡改与伪造,图像盗用、侵权等问题与日俱增,这对图像版权的保护无疑是一种巨大冲击。如何高效检测篡改图像并防止二次确权已成为图像内容版权
无人机被广泛应用在民用和军用领域的同时也对公共安全和航路安全等构成威胁,因此对无人机目标智能感知技术的研究具有重要的现实应用迫切需求。热红外成像设备由于具备全天时的监视能力因此被广泛用于监测无人机,然而在远距离红外成像条件下,无人机目标特征微弱且很容易受到复杂背景的干扰,这对无人机的鲁棒检测带来了严峻的挑战。传统的目标检测方法对无人机目标的特征表征能力和知识利用有限,对复杂真实场景感知能力差。因此