【摘 要】
:
视频的获取及传输过程中,由于物理环境及算法性能的限制,其质量难免会出现无法预估的衰减,导致其在实际场景中的应用受到限制,并对人的视觉体验造成显著影响。因此,作为计算机视觉领域的一项重要任务,视频质量评价应运而生。其目的在于通过构建计算机数学模型来衡量视频中的失真信息以判断其质量的好坏,达到自动预测质量的效果。在城市生活、交通监控以及多媒体直播等多个场景中具有广泛的应用前景。本文主要针对使用较多的自
论文部分内容阅读
视频的获取及传输过程中,由于物理环境及算法性能的限制,其质量难免会出现无法预估的衰减,导致其在实际场景中的应用受到限制,并对人的视觉体验造成显著影响。因此,作为计算机视觉领域的一项重要任务,视频质量评价应运而生。其目的在于通过构建计算机数学模型来衡量视频中的失真信息以判断其质量的好坏,达到自动预测质量的效果。在城市生活、交通监控以及多媒体直播等多个场景中具有广泛的应用前景。本文主要针对使用较多的自然视频的质量进行评估,采用基于二维和三维神经网络的结构提出了两种无参考视频质量评价方法,即基于特征丰富的无参考自然视频质量评价和基于时空注意力的无参考视频质量评价。我们提出的两种无参考方法在多个自然视频数据集上进行了对比实验,均展现出了良好的主观相关性,表明了我们的模型在针对自然视频时能有效提升评估的主观相关性。本文的主要工作如下:(1)针对视频质量评价方法进行了总结和分析。描述了近年来经典的传统和深度学习方法,指出了现有方法对视频质量评价的一些不足,为视频质量评价的进一步研究打下了基础。(2)提出一种基于特征丰富的无参考自然视频质量评价算法:以二维卷积神经网络为主体,将底层的图像特征与高层的语义特征进行自适应融合,以弥补高层特征带来的背景失真丢失的问题,然后采用通道挖掘机制在高维特征中捕捉通道依赖关系,最后采用一维时间卷积和长短期记忆单元对时间维的长短依赖性进行捕捉。(3)提出一种基于时空注意力的无参考自然视频质量评价算法:该算法由三维空洞卷积神经网络,质量相关的空间注意力与时间注意力模块组成。其中利用空洞卷积来同步捕捉时空维更大的感受野信息,而空间维注意力采用经过质量评价任务预训练的卷积层来提取空间权重,时间维则采用一维卷积提取权重,最后将权重施加在原特征上以突出质量相关信息。在自然视频数据集上与相应的深度学习方法进行对比,证明了我们算法的有效性。
其他文献
唇语识别是一项将说话人嘴唇区域的运动解码为文本的任务。句子级别的唇语识别能够解决聋哑人群体与正常人沟通的障碍,还能够改善在嘈杂或无声环境下的语音识别。近年来,基于深度神经网络的唇语识别方法受到广泛关注,而且准确率已经远远超过了在唇读方面有经验的人类。然而,句子级别的唇语识别领域仍然存在许多具有挑战性的问题需要解决。本文的主要研究工作如下:(1)基于通道注意力机制与选择性特征融合模块,提出一种端到端
随着智能移动设备越来越多的出现在我们的日常生活,物联网对计算资源的需求不断增加,计算资源受限成为物联网所面临的新挑战。移动边缘计算(Mobile Edge Computing,MEC)的兴起很好的解决了计算问题,但是结合了MEC技术的物联网仍然存在一些问题,比如固定部署的边缘服务器在处理任务时不够灵活、边缘服务器的成本昂贵等。于是无人机辅助移动边缘计算系统被提出,利用无人机的高机动性和灵活性,提供
随着智能系统的快速发展,如无人驾驶车辆、服务机器人导航、监视系统等,行人轨迹预测成为一个极具挑战性的问题。如何在高度拥挤、混乱的环境中感知、理解和预测行人的运动模式以便防止将来的碰撞变得重中之重。行人的运动不仅仅受到自身因素的影响,同时还受到周围环境的影响。针对上述问题,本文的主要研究内容如下:1.行人之间的交互是复杂多变的:单独行走、相向握手以及成群结队等,这些社交活动都会影响行人接下来的轨迹。
随着智能安防和视频监控领域的需求与日俱增,越来越多的视频监控设备被部署安装,从而导致监控视频数据量呈爆发式增长,为了对这些海量的监控视频数据进行智能分析,引入人工智能技术已成为必然趋势。其中,行人重识别技术作为智能分析的关键技术支撑,正受到广泛的关注和研究。行人重识别旨在解决跨镜头情景下行人跟踪与检索问题,它是利用计算机视觉技术判别在指定的图片或视频序列中是否具有指定行人的技术,在视频监控、智能零
情感识别在诸多领域有着重要应用,如人机交互、辅助医疗等,一直以来都是工业界和学术界的重要研究内容。传统的情感识别,如面部情感识别,虽然被研究较多,但也在数据精度要求和隐私保护等方面有一定的缺陷。相比之下步态数据也蕴含情感信息,但对数据精度要求相对较低,且有助于保护隐私。利用步态信息进行情感识别的研究于近年来逐渐开始兴起,本文对基于步态的情感识别这一被研究相对较少的任务,对步态原始存储数据进行了不同
频发的货运铁路运输事故造成了严重的经济损失和恶劣的社会影响,在平面调车作业过程的闯蓝灯驾驶行为是诱发该类事故的主要原因之一,而该行为大多数归咎于驾驶员对调车信号的通行状态的误判、漏判。利用计算机视觉实现机务段调车场景下的交通信号灯识别,能够克服由于疲劳导致的肉眼错误判断等弊端,将有效服务于国家人工智能战略需求,同时也推进轨道运输转型升级创新发展。基于深度学习的交通灯目标检测模型依赖于海量的相关场景
设备到设备(Device-to-device,D2D)通信技术允许邻近设备之间通过重用蜂窝频谱的方式直接通信,有效地提高了蜂窝网络的频谱效率,减轻了基站的负载压力,减小了端到端传输时延,成为5G通信网络的关键技术。D2D技术引入蜂窝移动通信网络在带来诸多好处的同时,也对蜂窝通信链路造成了干扰,若不能有效地协调干扰,将会严重影响蜂窝网络的通信质量。因此,本文针对两种不同的复用模式下的资源分配问题进行
车联网作为智能交通系统中的重要组成部分,在交通管理、智能运输和缓解交通拥堵等领域都发挥了非常重要的作用。其中车辆自组织网络(Vehicular Ad Hoc Network,VANET)是构成车联网的重要一环,通过车辆间的通信来传输有效数据。而随着车辆节点的增多,车辆密度的增大所带来的交通拥堵等一系列问题,可能会导致VANET中通信性能的下降。如何在当前复杂的道路交通环境中提高VANET的传输性能
轴承是旋转机械中的关键部件,在现代工业系统中得到了广泛的应用。对轴承进行健康状态管理,准确地预测轴承的剩余使用寿命,能有效地改善机械系统的可靠性、安全性,防止出现重大故障,从而降低维护费用。随着大数据和人工智能等先进技术的发展,深度学习已经成为剩余寿命预测领域的热门话题。然而在实际工况下,基于深度学习的轴承剩余寿命预测方法的研究方法通常会有以下两个问题:(1)样本数据量不足,导致模型无法收敛;(2
随着大数据及高性能计算技术的发展,深度学习近十年得到迅速发展,在人脸识别、自然语言处理等领域也取得了巨大成功,并于近年开始进入工业产品表面缺陷检测等工业领域。虽然深度学习在表面缺陷检测方面取得了很大进展,但仍然存在一些亟待解决的难题,小目标检测精度低和样本均衡性差便是其中的两个典型难题。通过充分调研了目标检测算法、小目标检测和样本不均衡的相关研究,本文选择以通用目标检测算法RetinaNet为基础