论文部分内容阅读
作为一个多学科交叉的领域,计算机视觉的理论研究和实际应用都取得了飞速发展。深度图像作为视觉信息系统输入的研究已成为计算机视觉研究的一个热点,如何有效地从二维图像中进行深度信息估计更成为研究的重点问题。利用单视点图像或多视点图像进行深度信息估计,所提取的深度图不仅可以生成立体图像,还可以实现基于图像的渲染和三维模型的重建,成为利用计算机模拟人类视觉的基础。而随着相关技术的广泛应用,对深度信息估计的准确度、计算效率以及对于复杂场景下的处理能力都提出了更高的要求。因此,本文对单视点视图深度信息估计、基于双目立体匹配的深度信息估计中的关键问题进行了深入研究。(1)针对单视点图像恢复场景深度信息算法中采用图像高层次线索复杂度高,计算量大的情况,本文提出了一种应用低层次图像线索轮廓锐度信息的视点图像深度信息提取的算法。将模糊信息作为深度提取的约束条件,应用边缘轮廓锐度信息,建立改进的轮廓跟踪模型,实现图像轮廓提取。利用先验假设轮廓深度图,提取景物深度信息,并采用交叉双边滤波方法对深度图进行了优化。经对大量图像进行对比实验,实验结果表明算法简单、实用,可以有效地实现了单视点图像深度信息的提取。为了提高算法的实用性,在FPGA上实现了本算法的IP核设计。(2)为降低传统Census变换在视差不连续区域和噪声干扰情况下误匹配率,本文提出了一种利用邻域相关信息的改进Census变换立体匹配算法。根据邻域像素的相关信息,将传统的Census变换中像素与邻域像素的差异应用2位信息表示,使变换后的图像在视差不连续区域的信息表示更为丰富,有效地区分位于弱纹理区域和视差不连续区域的像素与中心像素的不同,同时减少噪声对匹配质量的影响。通过稀疏汉明距计算得到初始匹配代价,应用权重代价聚合提高匹配精度,经亚像素插值、左右一致性检测和遮挡区插值等视差图后处理,最终得到了稠密视差图。经Middlebury立体图片测试表明,该算法结构简单,复杂度低,具有较高的鲁棒性,有效地提高了匹配精度。为提高算法的实用性,本文在FPGA平台上,应用并行化技术,采用流水线的设计方法,给出了算法的硬件并行化加速方案,提升了系统的处理能力。(3)针对代价聚合运算量大、执行速度慢,严重影响立体匹配算法实时性能的缺点,本文首先提出了一种层次化代价聚合算法,通过对代价体建立金字塔结构实现多层次划分,采用自适应权重计算实现分层次代价聚合计算。利用具有边缘保持特性的分段线性逼近上采样方法实现了由粗层次向精细层次的代价聚合恢复,提高视差不连续区域的代价聚合不同层次间恢复的准确度,从而达到在保证匹配质量的同时加速代价聚合的目的。实验表明,该算法在提高立体匹配算法处理速度的同时,具有良好的匹配效果。其次,提出了适于硬件实现的自适应权重代价聚合算法,采用权值近似计算对传统的自适应权重代价聚合算法进行了改进,降低计算复杂度。同时在硬件实现过程中以移位操作替代乘法操作,采用流水线缓存方式和双通道代价聚合方法,提高了代价聚合的速度。(4)针对立体匹配算法在倾斜平面及非前向平行平面视差值估计误匹配高的问题,本文提出了一种基于Patchmatch和切片采样粒子置信度传播的立体匹配算法。算法应用具有边缘特性的Patchmatch相似性函数,建立基于Patchmatch的非前向平行平面视差平面估计模型。利用粒子置信度传播代替原有的最近邻搜索,用较少的粒子近似目标分布。为解决粒子置信度传播过程中粒子重采样更新问题,采用切片采样马尔可夫链蒙特卡罗方法提高粒子重采样的有效性,提高匹配精度。实验表明,该算法能够降低视差不连续区域的误匹配,有效地提高了倾斜平面及非前向平行平面图像的匹配精度。