基于图像修复的虚拟视点合成算法研究

来源 :浙江理工大学 | 被引量 : 0次 | 上传用户:wy2633110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
一部3D大片《阿凡达》,揭开了“3D元年”的序幕,也让“3D”概念在国内市场风生水起。国内外各大电视厂商纷纷力推旗下3D电视,得益于大规模集成电路及信息技术的进步,原本价格高昂的3D电视进入了寻常百姓家。在硬件厂商力推3D电视普及的同时,3D内容极其匮乏的事实,也成为了业内专家、普通老百姓关注的焦点。3D内容缺失导致3D电视不能使用的现象一旦发生,将对后续3D电视的发展产生巨大的阻碍作用。据对国内视频影视内容市场进行的统计,3D内容在整个内容市场中的总量不超过1%,即便加上新制作的内容,短期内3D格式的也很难提升到10%以上。因此,若想将3D影像技术融入一般人的生活当中,势必要让3D内容能轻易产生且快速地制作。这也成为众多电视厂商和电视节目制作公司正在竭尽全力试图解决的难题。在现有3D视频拍摄技术不完善、拍摄成本高昂、片源匮乏的情况下,二维到三维视频转换技术成了业界公认的最佳解决方案,其中虚拟视点合成是二维到三维视频转换过程中的关键技术。基于深度图像的绘制(DepthImage Based Rendering,DIBR)是近年来才新兴的虚拟视点合成技术,它利用参考图像及其对应的深度图像通过三维图像变换(3D Image Warp)生成目标视点图像,具有绘制速度快,带宽需求小的优点。该技术的一个主要问题是目标视点图像内部存在暴露区域,即空洞问题。空洞是由于参考视点图像中一些不可见的像素点在目标视点图像中成为可见点而引起的现象。为获得高质量的目标视点图像,DIBR技术需要和数字图像处理技术相结合来填补空洞。目前空洞填补主要采用以下三种的方法:深度图预处理法、多参考视点绘制法、空洞后处理法。但深度图预处理法会使虚拟视点图像中物体产生明显的几何失真,当虚拟视点与源参考视点较远时,空洞填补效果也并不明显;利用多个参考视点来绘制虚拟视点不仅计算复杂度高且需要很大的传输带宽;简单地采用背景、纹理、相邻像素对空洞进行填补或者对空洞边缘进行线性插值效果并不理想。本文在对双目立体视觉以及三维立体显示技术简要介绍的基础上,引出了虚拟视点合成技术,并着重介绍了DIBR技术原理及技术难点,并提出了基于图像修复的虚拟视点合成算法。该算法分为两个部分,首先提出了“基于图像修复后处理的虚拟视点合成算法”,接着对上述算法进行了改进,提出了“基于深度图分层的虚拟视点合成算法”。该算法有效填补了虚拟视点目标图像中出现的空洞,减少了图像失真,从而生成高质量的虚拟视点图像。第一部分,根据DIBR和图像修复的原理提出了“基于图像修复后处理的虚拟视点合成算法”,该算法将深度图像预处理和图像修复相结合来填补DIBR三维图像变换后产生的空洞。相比传统的DIBR算法,本文算法可以填补较大的空洞,提高了绘制图像质量,取得了一定的效果。第二部分,本文在第一部分中所提出的算法是针对DIBR三维图像变换后产生的空洞进行填补,包括对深度图预处理以及对虚拟视点图像中的空洞进行图像修复。由于该算法计算量比较大、空洞填补的效果也不是很理想,我们想到先对深度图像进行分层来区分前景和背景,再对前景边缘易产生空洞区域进行图像修复,从而减少了计算量,合成效果也更为理想。为了达到上述目的,本文首先通过深度图像自动分割将前景和背景区分出来,再将前景深度图和参考图像的前景部分经DIBR绘制得到虚拟视点的前景图像,接着根据视差偏移计算公式将参考图像前景边缘易产生空洞的区域进行标记,然后利用图像修复技术将空洞区域填补得到无空洞的背景图像,最后将上述虚拟视点前景图像与背景图像进行图像融合,得到高质量的虚拟视点图像。
其他文献
为了解决频谱资源紧缺的问题,也为了拥有更好的保密性能和语音质量,数字对讲机取代模拟对讲机已经成为一种必然的趋势。然而,目前数字对讲机并不具备一个简单快速的协议。近年来
水声通信网中的传感器节点通常依靠电池供电,而通过更换电池来补充能量非常困难,因此设计有效地通信协议来降低网络的能量消耗成为一个不容忽视的问题。本文借鉴无线通信网的分
目标跟踪检测技术是计算机视觉和模式识别等多个领域的研究热点,其在智能监控、智能交通、人机交互等多个场景有着广泛的运用。随着智能设备的爆炸性增长,计算的重心逐渐由过
无线移动通信呈现宽带化和移动化的发展趋势,人们对数据传输速率提出越来越高的需求。MIMO系统利用多个收发天线充分开发空间资源,在不增加频谱资源和天线发送功率的情况下,可成
随着无线通信网络和移动设备在人们日常工作和生活中重要性的不断提升,对更加安全可靠的无线通信技术的需求也迫在眉睫。对于传统的扩频或者跳频通信系统而言,其信号和系统都
认知无线电是为了解决频谱紧缺问题而提出的新技术。认知无线多跳网络是一种新的多跳网络架构,相比传统多跳网络具有其固有的特点和设计挑战。认知多跳网络中会产生次用户业
物理层安全技术摒弃了基于计算复杂度不可行的传统安全方法,创新地利用无线噪声信道内在的随机的独特性和不可复制性,以信道噪声为“密钥”实现无线数据传输的安全性。然而,
近年来,随着全球对安全监控需求的日益增加,多摄像机智能监控系统日益引起人们的重视。利用各种视频分析算法,多摄像机监控系统能够扩大监控视野范围、解决目标遮挡、分析异
信号检测是任何通信过程中必须首先解决的问题,成功地检测信号是建立通信的基础,深空通信也不例外,本文就是研究基于循环谱相关的深空通信信号检测算法。论文首先介绍循环谱理论
在工程技术、管理科学、计算机科学、科学研究等领域中存在着大量的优化问题需要解决,目前工程中常用的优化算法主要有经典优化算法、局部搜索和贪婪算法、智能优化算法和混