基于弱监督学习和迁移学习的视频质量评价方法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:thd111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
受限于采集设备、传输网络和压缩技术等现实条件影响,视频文件在采集、压缩、传输、解码、显示的过程中,不可避免会产生失真。视频质量评价方法(Video Quality Assessment,VQA)旨在为存在失真的有损视频提供符合人类视觉感知的质量评价。因其在衡量视频处理系统性能以及评估用户视觉体验上具有不可或缺的价值,VQA技术被广泛应用于视频媒体平台、终端设备、无人机采集系统等。现有客观VQA算法旨在模拟人类视觉感知系统,建立描述视频失真特征、映射质量分数的模型。虽然现有基于机器学习和基于传统人工特征的VQA方法在质量评价方面取得良好进展,但依然面临如下三个问题:如何建立鲁棒的表征模型来提取视频的时空特性;如何有效地利用有限样本进行特征学习;如何平衡VQA算法的性能、计算量以及计算速度三者之间的关系。针对上述问题,本文对基于特征学习的VQA模型展开深入研究,结合深度学习、迁移学习、弱监督学习及排序学习,提出多种VQA方法,逐步提升模型的特征表征能力,丰富样本内容、平衡算法性能与计算量需求。总体而言,本文共提出四个VQA算法,分别从算法框架、样本迁移、适用失真类型、算法复杂度及算法性能几个方面,逐步实现算法升级。本文所取得的主要研究成果概括如下:1.针对传统特征表征能力有限及样本匮乏的问题,面向无参考任务,提出基于弱监督学习和特征迁移的VQA方法,建立模型基本框架,实现失真图像迁移及高维特征提取,提升算法评价能力。现有VQA面临两个问题,一方面是如何建立鲁棒的表征模型提取视频的时空特性,另一方面是如何有效地利用有限样本进行特征学习。为了建立基于深度学习的有效表征模型,提升模型对于视频失真特性的表征能力,本文建立基于弱监督学习的卷积神经网络,并设计基于样本排序的弱标签生成算法以区分样本的局部失真程度。针对样本规模较小的问题,本文根据基于特征表示的迁移学习方法,将失真图像与失真视频迁移至共同特征域,利用重采样策略将失真图像语义信息有效利用至VQA任务中。2.针对弱标签误差及失真图像迁移模式,面向压缩视频的全参考任务,提出一种基于知识迁移和视觉显著性的VQA方法,改进算法框架,提升失真图像迁移效率,结合视觉显著性特征,并分析弱标签误差。本文提出的基于弱监督学习和特征迁移的VQA方法未充分利用迁移图像的高维特征,且样本弱标签给网络学习带来误差。针对如何高效利用迁移图像问题,本文提出一种基于知识迁移和弱监督学习的特征提取方法,利用基于特征表示的迁移学习将失真图像与失真视频迁移至共同特征空间,并将失真图像作为预训练集,生成与失真相关的网络初始参数。其次,针对视频质量聚合问题,引入视觉注意力机制描述失真视频的局部特性。最后,本文分析块样本弱标签生成机制给算法性能引入的误差,并提出后处理策略实现质量弥补,提升算法的质量评价准确性。3.针对深度学习网络表征能力及质量聚合算法,面向通用型全参考任务,提出基于稠密连接网络和排序学习的VQA方法,旨在从高维特征提取、块质量聚合两方面进行优化。针对前述算法的深度学习网络结构较为简单、特征表征能力有限的问题,本文引用结构较复杂的稠密连接网络进行高维特征提取。其次,针对视频块空间关系以及全局空间信息缺失问题,本文引入空间金字塔池化层于网络结构中,使得网络能够处理具有任意空域大小的输入样本,从而提取视频的全局空域信息。最后,为了进一步优化块质量聚合方法,本文引入排序学习算法,一方面学习失真视频的排序关系,一方面学习从块质量到整体视频质量的映射关系。此外,引入排序学习算法,可以间接解决聚合方法的样本量匮乏问题。4.针对算法性能与计算量的平衡需求,面向轻量级全参考任务,提出一种基于端到端轻量级网络及后验概率加权损失的全参考VQA方法,结合时空切片及二、三维卷积建立轻量级表征模型,设计基于后验概率加权的损失函数区分局部失真,实现算法性能与计算量的平衡。现有基于深度学习的VQA方法通常将训练视频切为块样本,以增加训练样本量并减少计算量需求。且训练块样本继承原始视频的主观质量分数,忽略失真的不均匀性及块样本的个体差异。因此,本文设计基于后验概率加权机制的损失函数,利用失真灵敏度表征视频块的不同权重。其次,深度学习网络的模型表征能力不仅依赖于网络结构设计,如更深或更宽的网络层数,还依赖于庞大的计算资源。在有限且昂贵的计算资源下,平衡算法的性能与计算成本是现实需求。因此,本文提出基于时空切片及混合卷积的VQA网络,从时域、空域及时空域多方向实现特征提取。综上所述,本文通过对VQA领域面临问题的分析,提出四种与人类主观感受相吻合的客观质量评价模型。这四种模型互为补充、逐步优化,实现了从两阶段模型到端到端模型的改进,从适用于压缩失真到适用于多种失真,从迁移样本重采样到迁移样本预训练,以及实现了算法性能与计算量需求的平衡,为视频质量合理评价方法的探索做出了积极的尝试。
其他文献
在我国胃癌的发生率和死亡率均居所有癌症第三位。虽然近年来分子靶点治疗和免疫治疗已使许多癌症患者受益,但是在胃癌中由于缺少有效的治疗靶点,且胃癌患者对免疫治疗的响应率低,使胃癌的治疗仍具有极大的挑战。因此胃癌药物治疗靶点的发现和对其功能的研究对胃癌的治疗具有重要意义,同时,发现参与胃癌免疫调节的治疗靶点或提高胃癌免疫治疗的响应也是目前胃癌治疗的重要研究方向。组蛋白赖氨酸特异性去甲基化酶1(Lysin
学位
金属锆具有非常优异的物理化学特性,广泛应用于航空、军工、化工、核能等领域,是一种重要的战略物资。传统生产金属锆的方法存在能耗大、制备成本高等问题,亟需开发绿色高效制备金属锆的新技术。本文提出采用锆基可溶阳极熔盐电解制取金属锆的创新思路,为金属锆的制备提供技术选择。本研究的核心在于揭示可溶阳极的合成、阳极电化学溶解及阴极沉积等过程中存在的科学问题。基于此,本研究对Zr CxOy、Zr CxOyNz阳
学位
高分辨率遥感影像包含了丰富的目标特征和地物细节,可准确反映不同地物间的细微差异,为人们深层次地研究地物的特性提供了可靠的手段。遥感影像道路提取是遥感影像处理中最为基础的任务之一,受到众多研究者的关注,并广泛应用在民用和军事相关领域,包括城市规划、减灾估测、野外救援和作战部署等。随着深度学习技术的发展,深度网络在特征提取精度、效率方面展现出了显著优势,迅速成为遥感影像道路提取领域的主流方法。现有的深
学位
第一部分miRNA-223-3p/CHUK/NF-κB通路对慢性淋巴细胞白血病生存调控机制研究背景及目的:慢性淋巴细胞白血病为一种不能治愈的恶性肿瘤,是西方国家最常见的白血病类型,同时也是我国中老年人中常见的血液系统肿瘤。miRNA-223-3p已经被证实在慢性淋巴细胞白血病患者中表达下调,是有意义的独立不良预后因素。然而miRNA-223-3p在慢性淋巴细胞白血病细胞发挥的生物学功能及涉及的具体
学位
水分子的解离是煤化学和可再生氢能源转化过程中的决速步骤。因此,合理设计催化剂、充分阐明构效关系,对获取高性能水分解催化剂具有重要意义。氧空位(Oxygen vacancy,Vo)是金属氧化物中最常见的阴离子空位,它能改变缺陷位点附近的局部电荷分布和电子能级。在催化反应中,Vo可以提供更多的催化活性位点,并显著影响金属与载体之间的电子转移和电子相互作用。Vo以其独特的物理化学性质在催化水分子解离过程
学位
背景恶性肿瘤是威胁人类生命健康的首要疾病,化疗是其综合治疗的重要组成部分,但传统小分子化疗药物存在毒副作用强、靶向性差、易耐药等缺点。纳米载药系统具有可控制药物释放、延长血液循环时间、增强生物相容性及肿瘤靶向性等优势,是肿瘤化疗以及联合其他治疗方式的研究热点。放射治疗是无法手术的局部晚期肿瘤的治疗方法之一,通过细胞水电离产生细胞毒性氧自由基,可无深度限制的杀死癌细胞,但因受限于周围正常组织的破坏而
学位
晶体生长前沿是否存在预有序结构或预有序相是经典一步生长模型和多步生长模型的本质区别。深入理解高分子相转变中晶体生长机制是改变聚集态结构,继而调控其性能的关键,也是高分子物理与高分子加工中的重要研究课题。片晶生长前沿的界面层不但可能包含中介相(其有序程度介于晶体与无定形相之间),同时还可能包含有形成中介相前的熔体和中介相结晶形成的初生微晶。界面层结构的快速演化和空间分布上的非均质性,导致现有表征方法
学位
<正>自2014年起,福建省教育厅每年定期举办"福建省高校师范生教学技能大赛"(以下简称"省赛"),"中学组"除化学学科之外,其余学科的比赛内容,均为初二年级内容,比赛的核心环节是15分钟的片段教学.在指导学生训练和参赛的过程中,发现了教学中存在的种种问题,有些问题在一线教学中也存在,具有一定的普遍性,现归纳为以下八个方面阐述之,希望对数学教学有所裨益.
期刊
针对激光选区熔化(SLM)成形件表面粗糙度较高这一问题,基于SLM分层加工原理,以台阶效应、粉末粘附和翘曲变形为主要影响因素,建立了下倾斜表面粗糙度的预测模型。选用激光选区熔化成形316L不锈钢零件,并测量零件的下倾斜表面粗糙度,表面粗糙度的测量值与预测值进行对比分析。实验结果表明:熔道搭接与台阶效应相结合、粉末粘附现象的等效变换以及翘曲变形后的角度变化三种建模思路是可行的,粗糙度预测模型的主要参
期刊
作为垄断协议中的新类型,轴辐协议兼具横向垄断协议与纵向垄断协议的双重属性,突破了早已形式化的垄断协议二分法的枷锁,在具有巨大危害的同时却缺乏有效的反垄断法规制。这既因为轴辐协议本身的特殊结构在理论上带来了理解与认定的双重困境,影响了执法机关的主动性;又因为我国《反垄断法》缺少对轴辐协议的必要回应,使得依照现有垄断协议规制路径无法实现有效规制。由此,为探寻轴辐协议的最佳规制路径,应在彻底理解轴辐协议
学位