论文部分内容阅读
近年来,随着互联网的迅猛发展,带来图像与视频数据剧增。基于这些数据进行场景分割与重建一直是计算机视觉领域的研究热点与难点之一。本文聚焦基于视觉显著性和非参数贝叶斯统计方法实现场景分割和场景重建的任务,按照场景静态分割到场景动态重建这一技术路线进行了深入研究,取得如下主要成果:
1)针对带有深度信息的单幅彩色图像,提出一种基于多模态一致显著性的场景语义对象分割方法。该方法结合颜色和深度的多模态信息以及前景背景先验信息,有效解决了显著对象和背景之间的相似颜色和纹理影响显著性正确提取这一问题,提取更为精确的显著性这样一种可用于场景分割的重要且有效的特征。该方法包含一个简单而有效的自适应多模态过分割方法,能够准确分割场景。基于这些过分割区域,再结合全局对比度以及前景背景的先验信息来计算显著性值。通过广泛的验证和对比实验,结果证明该方法能获得更好的性能,在准确率和召回率上均优于其它方法。
2)在获取到单幅图像的前景对象语义显著分割结果基础上,本文提出一种基于非参数概率语义对象关联的场景时序图像序列重建方法,对前后时序序列帧图像的语义对象进行数据关联。在进行场景动态重建时,可以使用该方法将不同时刻相同对象进行匹配和对应,解决场景动态重建过程中对象级别的数据关联问题。首先介绍非参数贝叶斯迪利克雷过程模型的基本原理和图模型,然后将图模型和场景动态重建过程中的要素进行对应,并研究图模型参数和场景动态重建的关系,从而有效地实现语义对象的关联。实验部分首先通过模拟实验和对比实验验证了方法的先进性,然后通过真实数据验证了所提出方法在实际场景动态重建中的有效性。
3)除时序图像序列外,针对无时序关系的图像序列,本文还提出了一种基于非参数概率关键帧筛选的场景无时序图像序列重建方法,提升运动恢复结构过程中的重建效率。在进行场景动态重建过程中,利用该方法能够筛选出数量更少但是更能表示场景信息的关键帧,缓解大型场景稀疏稠密重建时计算效率低的问题。在采用距离依赖中国餐馆过程模型进行关键帧选取后,自动剔除掉视角变化很小,对三维重建贡献不多的冗余图像,从而可以极大地减少三维重建过程中使用的图像数量,提高重建效率。实验结果表明所提出的方法可以有效地降低多视角无序图像的三维场景重建时间的消耗。
通过仿真和实验对比,本课题验证了所提出三种方法的可行性以及有效性。最后,对全文进行了总结,并对未来需要研究探索的问题和方向进行了展望。
1)针对带有深度信息的单幅彩色图像,提出一种基于多模态一致显著性的场景语义对象分割方法。该方法结合颜色和深度的多模态信息以及前景背景先验信息,有效解决了显著对象和背景之间的相似颜色和纹理影响显著性正确提取这一问题,提取更为精确的显著性这样一种可用于场景分割的重要且有效的特征。该方法包含一个简单而有效的自适应多模态过分割方法,能够准确分割场景。基于这些过分割区域,再结合全局对比度以及前景背景的先验信息来计算显著性值。通过广泛的验证和对比实验,结果证明该方法能获得更好的性能,在准确率和召回率上均优于其它方法。
2)在获取到单幅图像的前景对象语义显著分割结果基础上,本文提出一种基于非参数概率语义对象关联的场景时序图像序列重建方法,对前后时序序列帧图像的语义对象进行数据关联。在进行场景动态重建时,可以使用该方法将不同时刻相同对象进行匹配和对应,解决场景动态重建过程中对象级别的数据关联问题。首先介绍非参数贝叶斯迪利克雷过程模型的基本原理和图模型,然后将图模型和场景动态重建过程中的要素进行对应,并研究图模型参数和场景动态重建的关系,从而有效地实现语义对象的关联。实验部分首先通过模拟实验和对比实验验证了方法的先进性,然后通过真实数据验证了所提出方法在实际场景动态重建中的有效性。
3)除时序图像序列外,针对无时序关系的图像序列,本文还提出了一种基于非参数概率关键帧筛选的场景无时序图像序列重建方法,提升运动恢复结构过程中的重建效率。在进行场景动态重建过程中,利用该方法能够筛选出数量更少但是更能表示场景信息的关键帧,缓解大型场景稀疏稠密重建时计算效率低的问题。在采用距离依赖中国餐馆过程模型进行关键帧选取后,自动剔除掉视角变化很小,对三维重建贡献不多的冗余图像,从而可以极大地减少三维重建过程中使用的图像数量,提高重建效率。实验结果表明所提出的方法可以有效地降低多视角无序图像的三维场景重建时间的消耗。
通过仿真和实验对比,本课题验证了所提出三种方法的可行性以及有效性。最后,对全文进行了总结,并对未来需要研究探索的问题和方向进行了展望。