三维视频视觉质量及增强处理研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:xsl_1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维视频是近十年来视频处理领域的一大热点。它将传统的平面图像生动地拓展到三维空间,带给观众更为真切的视觉体验。继传统的双目立体视频系统之后,一种新式的基于深度的三维视频系统正逐渐兴起:它通过虚拟视点合成由参考视点的纹理和深度图像产生目标虚拟视点的纹理图像,从而可由参考视点和虚拟视点图像共同构成具有合适视差的立体视频,实现用户自定义的、更为舒适的三维立体视觉体验,因此被ITU和MPEG等组织确立为第二代三维电视系统。三维视频的视觉质量较二维视频更为复杂。双目立体观看中,不同的双目图像将激发深度感知、双目融合和双目竞争等多种双目视觉特性,从而引入双目感知相关的视觉质量影响因素。因此,三维视频的视觉质量被认为是包含图像质量和深度感受等若干因素的多维问题;求解这个复杂问题,可能需要对众多因素分而治之,依据视觉特性建立定量计算模型,从而逐步完善理论基础。三维视频系统包括内容获取、压缩传输、三维重现等多个环节,其中每一环节均可能扭曲理想的三维视频信号、引入视觉失真。三维视觉质量增强既可以从消除视觉敏感的某些类型失真出发,直接提升图像的视觉自然度,也可以从更好地保持受损信号与理想信号之间的信号保真度出发,降低失真的整体强度,间接地增强主观质量。本文第一章对比传统双目立体视频系统和新一代基于深度的三维视频系统,并简要阐述三维视觉质量的多种影响因素以及三维视频系统中视觉失真的引入途径。随后,总结回顾近年来三维视频视觉质量和三维视频处理领域的发展状况,进而阐明三维视觉质量的研究思路和三维视觉质量增强处理的两个可行方向。第二章详细阐述三项关于三维视觉质量影响因素建模的研究工作,这些研究包括:1)创新地提出结合人眼视觉敏感度、视觉暂留、最近效应等多个重要视觉特性,通过时空域联合分析受损视频视觉失真强度的客观质量评价算子,其系统地模拟主观质量评价过程,并且在多个质量评价数据库上稳定地取得了世界领先的评价准确度;2)率先提出基于双目融合特性和掩蔽效应的双目最小可辨别差异模型,它将传统的双目最小可辨别差异模型拓展为更完善的双目模型,为双目信号失真感知提供理论基础;3)建立了世界首个双目竞争失真的主观样本数据库,其指明三维视频处理可能引起人眼敏感的双目竞争现象,并为双目竞争失真的检测和抑制方法研究提供主观实验样本。第三章围绕虚拟视点合成模块,通过深入的理论分析,回答了两个重要问题:为什么合成图像中物体边缘区域容易产生显著的视觉失真?以及怎样通过视点合成使三维视频能够自动地呈现舒适的深度感?基于这些问题的分析结果,提出了两项视觉质量增强方法:1)抑制物体边缘失真的纹理图像改善方法,它从根本上分析并防止边缘失真的形成,相比于传统方法具有更好的理论性能和实际效果;2)在不同显示器上保持相同舒适深度感受的三维体验增强方法,该方法已经被JCT-3V组织采纳为三维视频后处理的一种辅助增强方法。以上两项工作分别从纹理真实度和深度舒适度出发,提高三维视频的视觉自然度。第四章以三维视频编码为中心,提出面向重建三维视频保真度的理论模型与增强方法。一方面,通过理论推导,建立不引起视点合成图像变化的深度失真容限模型,该模型是面向目标虚拟视点图像质量的深度压缩等处理的理论基础,并基于该深度失真容限模型提出改善深度编码效率的两项编码预处理方法。另一方面,通过深度指示的视间对应关系,率先提出在非对称纹理编码应用中,以重建的高质量视点信号增强低质量视点图像保真度的编码增强后处理,该方法明显提升低质量视点的信号保真度,并帮助抑制其中的振铃效应和块效应。这两项研究工作目标在相同的传输代价下产生具有更高保真度的解码端图像,因而也有助于提高三维视频系统的运行效率和服务质量。第五章首先总结本文的研究工作;之后,对三维视频质量分析和增强处理的未来动向作简要分析,并对三维视频产业的发展进行初浅的前瞻。综上所述,本文的研究工作以认识和提高三维视频的视觉质量出发,通过主观实验和理论分析,增进了对三维视频视觉质量的理解,提出了三维视频质量评价和增强处理方面的一些创新理论和技术方法,帮助解决三维视频视觉质量改善方面的多个热点科学问题,为今后三维视频的广泛应用提供理论积淀和技术储备。
其他文献
目的综述哺乳动物雷帕霉素靶蛋白(mammalian target of rapamycin,mTOR)参与神经系统损伤修复的可能机制。方法广泛查阅mTOR与神经系统损伤后神经修复的相关文献并进行综合分
天津戏剧艺术在近代的文化产业化过程中特别引人注目,而以茶园为形式的戏曲经济又更具有典型意义。茶园的兴盛与衰落,与天津城市的发展密切相关;茶园的经营与管理,与近代天津
近年来实施的经济增加值(以下简称EVA)考核在各企业掀起了价值管理的热潮,本文在EVA考核的基础上,从价值创造能力、盈利能力、发展能力、营运能力和偿债能力等5个方面构建了
目的与市售头孢克洛速释胶囊比较,探索头孢克洛缓释胶囊在人体内是否产生更合理的药物动力学特征。方法用挤出滚圆法制备含药微丸,然后分别采用EudragitNE30D和EudragitL
内部审计制度是根据企业内部的需要,为了完善企业的内部控制,防止弄虚作假,提高经济效益和管理水平而设置的,内部审计已成为一个企业经营管理中不可缺少的重要环节,我国内部
目的探讨人工全肩胛骨肩关节置换及保肢功能重建技术治疗肩部恶性肿瘤的临床疗效。方法2001年2月~2004年11月,采用肿瘤广泛切除术、制约式逆置型人工全肩胛骨肩关节置换及功
研究首先对血清8型禽腺病毒(FAd V-8)的纤突蛋白基因F进行了克隆并分别构建了原核表达载体和真核表达载体,经测序验证后分别命名为p GEX-6P-1-F和pc DNA3.1-F。将原核表达质
目的对国内外海藻酸钠、海藻酸钙的药品和医疗器械标准进行比对,并依据各标准对工艺参数的监控进行重点阐述。方法对国内外海藻酸钠、海藻酸钙的标准进行整理、汇总,比较分析
<正>在当前融复杂的经济金形势下,基层银行业突出重点,加大信贷投放力度服务实体经济的同时,受地方经济政策、产业结构、经营理念和行业竞争等因素的影响,贷款大户化、长期化
通过对河北农产品现状分析,发现了在面对京津市场过程中河北省农产品发展的制约因素。针对这些出现的问题,本文提出"主体"+"配套"的农产品发展战略,望通过"主体"+"配套"的基