基于视觉感知及深度学习的立体图像质量评价研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:zxqqqzxq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,三维(Three Dimensional,3D)多媒体应用已经逐渐走进了人们的日常生活中,例如3D电影和虚拟现实应用等。人们在享受着3D图像以及视频内容带来的便利的同时,对图像和视频的内容的质量需求也越来越高。不幸的是,图像在传输过程中存在着降质的问题,因而对立体图像质量评价(Stereoscopic Image Quality Assessment,SIQA)的研究迫在眉睫。在前人的基础上,本文从人类视觉系统(Human Visual System,HVS)和深度学习方面出发,主要提出了:(1)基于立体视觉关键特性的全参考SIQA方法根据HVS立体视觉的双目特性,本文提出了一种基于立体视觉关键特性的全参考SIQA方法。首先,建立了双目融合和双目竞争效应的数学模型,分别从两种模型中提取多尺度的能量响应特征图和亮度特征图。通过对参考立体图像和失真立体图像特征图进行相似性度量得到对应的相似性度量图。最后,采用局部二值模式降低特征维度,利用支持向量回归技术对降维后的特征进行映射,得到最终客观质量分数。实验证明,该方法能与人类主观质量评价取得很好的一致性。(2)基于显著区域深度特征学习的无参考SIQA方法为了克服立体图像质量评估对参考图像的依赖性,本文也提出了一种基于显著区域深度特征学习的无参考SIQA方法。主要是通过引入深度学习技术,去自适应地学习与图像质量相关的视觉特征。根据卷积神经网络输入的不同,分别提出了单通道深度网络模型和三通道深度网络模型。两种模型均采用基于图像分块的数据增强策略和基于视觉显著性指导局部特征选取方法。在经历了局部特征学习和全局质量回归两个训练阶段后,最终可以从网络模型中得到客观的质量分数。一系列的实验证明所提出的两种深度网络模型能够很好地预测立体图像的质量,特别地,相比较于单通道深度网络模型,三通道深度网络模型对立体图像质量的预测效果更好。
其他文献
在全民健身的号召下,各种健身方式开始逐渐走进了老百姓的生活。其中,健身气功是中华民族宝贵的文化遗产,随着东西方文化交流的日益增多以及当今社会上出现了“瑜伽热”现象
在复杂动态的家庭环境下,物品抓取作为服务机器人的关键技能,对提升机器人的服务质量至关重要。目前,人们针对机器人物品抓取展开广泛的研究,并提出感知规划与采样评估两种主
随着信息化技术与工业的快速融合,极大地激发了工业自动化的发展潜力,工业自动化的发展离不开自动化设备的研发,自动化设备应包含有“思想”的智能化部件。在力矩测试领域,高
创业决策逻辑对新企业的未来发展至关重要。Sarasvathy(2001)认为个体在进行各种决策活动时有两种思考方式,即因果逻辑与效果逻辑。现有文献聚焦于因果逻辑、效果逻辑实施效
随着互联网的飞速发展,人们也由以前的被动接收信息,逐步向主动参与转变,更乐于通过微博、博客、论坛等互联网平台公开发表自己的看法与观点。互联网每天都会产生大量的非结
随着互联网的飞速发展,多媒体视频的数据量呈现快速增长,视频的内容结构也正趋于复杂,如何有效存储和管理这些视频数据显得尤为重要。视频摘要是对完整视频的概括,在保留原始信息的同时压缩了视频长度。一种有效的视频摘要提取技术能够大大降低视频的存储空间,提高视频分析的效率。本文主要研究视频摘要技术中镜头分割和关键帧提取技术。主要工作如下:1.提出一种结合颜色和深度信息的突变镜头边界检测算法,针对现有突变镜头
污水处理厂作为一项最基础的公共设施,近些年来其建设和运营广泛采取PPP模式,对污水处理PPP项目进行绩效评价研究,可以使项目实施和运营过程中的绩效水平在一定程度上得以提
随着人口老龄化时代的到来,年长员工的比例逐步增加,劳动年龄人口表现出老化趋势。面对未来年轻劳动力短缺、劳动力老龄化的发展趋势,如何保留、开发和管理年长员工的人力资
亚硫酸盐(SO32-)、半胱氨酸(Cys)和同型半胱氨酸(Hcy)是一类含有硫原子的生物活性硫小分子物质,这类物质普遍存在于生物体内,参与生物体内的各项生理功能,维持体系平衡。但是,当
本文探讨了一种特殊类型的土地抵押形式——"土地分割抵押";该类型在实际工作中运用较多,各地操作方式不一,文中观点仅为个人对相关政策的理解而作的分析。