【摘 要】
:
视频超分辨率重建是一种根据低分辨率视频恢复高分辨率视频的技术。视频超分辨率技术是计算机视觉领域中的经典和热点研究内容之一。视频超分辨率重建旨在利用视频帧序列的时空相关性生成精度高,且感知质量好的高分辨率视频。本论文重点围绕基于深度学习方法提高视频的感知质量问题展开研究。在深入研究先进的基于深度学习的视频超分辨率方法的基础上,提出了一个新的光流补偿结合多特征鉴别生成对抗网络OFC-MFGAN,并将其
论文部分内容阅读
视频超分辨率重建是一种根据低分辨率视频恢复高分辨率视频的技术。视频超分辨率技术是计算机视觉领域中的经典和热点研究内容之一。视频超分辨率重建旨在利用视频帧序列的时空相关性生成精度高,且感知质量好的高分辨率视频。本论文重点围绕基于深度学习方法提高视频的感知质量问题展开研究。在深入研究先进的基于深度学习的视频超分辨率方法的基础上,提出了一个新的光流补偿结合多特征鉴别生成对抗网络OFC-MFGAN,并将其应用于视频超分辨率重建,有效地提高了重建视频的感知质量。考虑到不同视频帧侧重表达的特征不同,提出引入空时特征增强模块的视频超分辨率方法EOFC-MFGAN,进一步强化视频帧中特征丰富的区域,提升重建视频的感知质量。本文的主要工作体现在以下三个方面:(1)学习并研究了经典和先进的图像及视频超分辨率方法,并数值实现,分析对比了几种有代表性的图像及视频超分辨率方法。阐述了基于深度学习的超分辨率算法流程及框架分类。指出视频超分辨率质量提高具有重要的应用需求。(2)提出一个新的光流补偿结合多特征鉴别生成对抗网络的端到端视频超分辨率网络框架OFC-MFGAN。该框架包括光流估计补偿网络和多特征鉴别生成对抗网络。光流估计补偿网络利用相邻视频帧之间的短时连续和内容相似性特性为多特征鉴别生成对抗网络提供丰富有效的细节信息。生成器与包括像素、边缘、灰度和颜色鉴别器的多特征鉴别器对抗训练促使超分辨率帧与高分辨率帧的像素、边缘、纹理和颜色趋于一致。大量公共数据集和监控视频数据的实验结果表明,OFC-MFGAN方法不仅能够有效提高视频超分辨率结果的像素精度,恢复出突出的边缘,清晰的纹理以及真实的颜色,而且视觉感受愉快,感知指标有竞争力。(3)提出引入空时特征增强模块的视频超分辨率方法EOFC-MFGAN。空时特征增强模块能够兼顾不同视频帧所侧重表达的特征信息,自适应地增强特征丰富的区域,抑制冗余特征。实验结果表明,强化特征丰富的区域有利于提升重建视频的感知质量。
其他文献
微表情是一种快速的、难以用肉眼观察到的,可以反映人类真实内心情感的面部表情。由于微表情能体现人们真实的感受和动机,因此常应用在商务谈判、警察诊断、精神分析等领域。然而由于微表情持续时间短(1/25-1/2秒之间)、变化细微(肌肉收缩或舒张幅度较小)的特点,微表情识别仍是一个巨大的挑战。近年来,随着深度学习的发展,深度神经网络算法以及注意力机制的广泛应用,为微表情识别带来了新的研究方向。基于此,本文
当前计算机辅助诊断技术日趋成熟,在进行辅助诊断时需要输入有效的数据集,因而,在数据上传至系统前,对于数据的合法性检查问题就显得尤为必要,基于此,本文针对小肠CT图像数据的合法性检查问题进行了以下研究:(1)小肠CT图像数据集的建立与预处理。针对小肠部位的研究,由于医学图像存在的数据隐私保护问题,目前并没有公开的小肠CT图像数据集,因此本课题组与某医疗部门合作,解决了数据隐私问题后,采集了100名患
在线社交网络的用户关系在一定程度上是现实用户关系的映射。与面对面交流相比,在线社交网络具有更强的信息发布、交流和共享能力。热门事件仅需几分钟就能在数百万网络用户中传播开来,继而成为热搜。为了追查和快速控制谣言、热点事件、群体情绪乃至国际局势的趋势,可收集在线社交网络中与特定话题相关的数据,进行在线舆情分析。为了收集并分析特定话题下的重要数据,需要找到与特定话题对应的有影响力的用户集合,即找到具有最
无线感知作为新兴的非传感器感知的重要技术,在动作识别、身份认证、跌倒检测等诸多方面被广泛应用。由于无线信号不具备可视化的特征,研究者往往无法判别数据样本是否合规,也不清楚数据样本分布是否广泛多样。不合规样本的存在使数据集质量下降,数据分布不广泛造成无线感知识别模型泛化能力差。本文围绕去除不合规无线数据样本、提升感知识别模型泛化能力两个问题开展研究,提出了相应的解决方法,并在两类无线数据集(CSI和
随着信息技术的飞速发展,传统产业和新兴互联网经济的深度融合过程中产生了海量数据。存储技术及计算技术的发展,直接推动了大数据产业的发展壮大。数据量的急剧增长,催生了云计算和数据中心在全球范围内的普及。连接远程数据中心之间的骨干网上的数据传输任务十分繁重。云运营商用昂贵的高带宽链路为各种用户提供大数据传输服务。如何通过提供高质量的服务来赚取可观的利润是运营商所关注的核心问题。科学合理的定价机制是保障运
为掌控在线舆情及国际局势走势,政府机关、应急管理部门等现实世界的合法机构与组织需隐蔽地收集并分析来自国内外新闻媒体、特定网站以及热门在线社交平台的数据,避免被相关人士追根溯源。反溯源的本质在于通过特定技术隐藏信息浏览轨迹和搜索意图,防止网站来访者被溯源跟踪。构建安全的受控入网环境系统,提供一个安全的、受控的、反IP追踪的安全互联网入网环境,实现反溯源。溯源的主要手段为重构来访者的访问路径,因此,构
在《新一代人工智能的发展规划》和《教育信息化“十三五规划”》的推动下,人工智能、云计算、大数据、物联网、计算机视觉等信息技术深入推动教育信息化改革,学生课堂行为识别分析成为教育研究的重点。针对目前研究中缺少相应的大规模视频数据集,识别容易受到性别、体型、复杂场景和相似动作等因素干扰的问题,本文做出以下贡献:本文选取骨架信息减少受遮挡的影响,对比选出适用于课堂场景的姿态估计算法,同时提出多维特征融合
航拍图像指使用航拍飞行器携带摄影设备,在空中对地面物体进行拍摄,从而得到的航拍目标信息,被广泛应用在地貌测绘、军事侦察等众多重要领域内。因此航拍图像的清晰度研究有着十分重要的现实意义。本文分别从依赖图像退化模型的传统算法和依赖神经网络模型的深度算法两个方面,对航拍图像中广泛存在的运动模糊问题展开研究。传统算法研究过程中:首先,结合航拍成像特点进行理论分析,估算航拍运动模糊核的像移长度和像移角度两个
计算关联成像作为一种新型的成像方式,具有传统成像不具备的抗干扰性强的特点,近年来在水下成像、遥感成像中发挥着其独特的作用。在散射介质下的计算关联成像中,如水下计算关联成像,测量矩阵对成像效率和成像结果的质量都至关重要。本文围绕存在散射介质的不同测量矩阵计算关联成像进行了研究,主要工作内容如下:1.通过比较散射介质中计算关联成像应用的不同的测量矩阵,研究了应用不同测量矩阵的成像速度和成像质量。通过选
三维点云配准是寻找两个或多个三维点云之间的最优空间变换关系,使其能够在空间中达到良好的匹配,它是计算机视觉、模式识别和智能机器人等领域的关键技术之一,具有重要的理论研究意义和实际应用价值。三维点云配准主要分为刚体配准和非刚体配准两大类,对于包含噪声、外点及数据缺失的点云非刚体配准算法研究仍是当前点云配准领域的一个热点和难点问题。针对包含噪声、外点及数据缺失的三维点云非刚体配准,本文在深入研究传统迭