论文部分内容阅读
基于图像的增强现实技术有着广泛的应用领域,如拍摄视频轨迹跟踪、虚实图像融合、基于图像的三维建模等技术广泛应用于教育、影视、娱乐等行业。这些技术通过从图像中提取有效的纹理特征信息,并建立图像间的对应点匹配关系,然后运用计算机视觉技术,恢复出真实场景的三维空间信息。然而现实中的场景有时存在纹理颜色单一(如白色的墙面等)或动态(如走动的人等)的物体等,现有的技术难以鲁棒检测和匹配这类场景图像的特征信息,导致无法有效进行后续的相机轨迹求解和三维建模。 机器人领域中的运动控制具有非常高的精度,并且已有一些成功的视觉和控制结合的应用,如安装有摄像头机器人的自动物体抓取等。机器人控制技术可用来解决,基于图像匹配的轨迹跟踪技术难以有效跟踪纹理稀疏和动态物体的视频图像的难题,但其本身也存在一些不足之处,比如现有的手眼标定算法存在拍摄不便或精度较低的问题。 针对上述问题,本文基于一套运动控制摄影系统,针对纹理稀疏的物体场景,采集相机拍摄视频和机器运动数据,开展运动控制相机轨迹跟踪和三维建模技术研究,应用于增强现实领域中的虚拟物体和真实图像融合,并取得了以下研究成果。 (1)提出了一种基于二阶锥规划和分支定界约束的运动控制相机轨迹跟踪方法 运动控制摄影对应的相机轨迹跟踪,与拍摄的视频场景纹理信息无关,可处理纹理稀疏图像等特征的相机轨迹追踪问题,其核心技术是手眼标定算法。手眼标定方程的输入相机参数,根据获取方式可分为两类:基于特定参照物(如均匀平整棋盘图纸)的相机标定法和直接从普通场景图像获取的运动恢复结构法。棋盘图方法精度较高,但需要额外的精细参照物,运动恢复结构的方法拍摄简单,但其标定精度较低。 针对上述问题,本文提出了一种基于螺旋运动约束方法,用于筛选出运动恢复结构方法得到的相机矩阵中的噪声较大数据,然后提出一种手眼标定方程的矩张量乘积表示形式,并运用二阶锥规划和松弛变量约束对其优化,最后提出一种分支定界约束方法获得标定变量的全局最优解。实验结果表明,提出的方法有效提升了无标定参照物场景的标定精度以及对应的相机轨迹追踪精度。 (2)提出了一种纹理稀疏图像三维建模扩展滤波优化方法 现有基于图像的三维建模方法的重要基础是,能够从图像序列中检测匹配到大量的鲁棒特征点对。现有的特征匹配算法对于纹理信息丰富的图像具有良好的表现,然而在现实中并非所有的场景图像都具有丰富的纹理信息,如白色的墙壁等,这些场景图像中相似的特征区域太多,导致大量的特征区域误匹配。虽然在后续的相机矩阵分析和三维重构步骤中,也有针对图像噪声数据的优化方法,但并不能完全删除噪声点,如果存在较多的噪声数据,必然影响到相机轨迹跟踪和三维建模的精度。 本文对产生三维重构噪声的原因进行分析,提出一种基于图像的三维建模扩展滤波方法,通过相机矩阵优化、扩展滤波约束等方法减少纹理稀疏图像区域导致的噪声点云,提高建模的精度。实验结果表明,与现有方法相比,本文方法显著减少了三维噪声点云,提高了三维重构的精度。 (3)设计实现一种基于运动控制的纹理稀疏图像增强现实系统 基于图像的增强现实的一个重要应用是场景图像的虚实融合,其将真实的视频图像与虚拟的图形绘制物体或图像建模方法构建的纹理模型融合在一起,其技术基础是相机轨迹跟踪方法和三维建模方法。现有的基于视频图像特征匹配的方法难以处理纹理稀疏或存在动态物体的场景,无法获得良好的增强现实效果。 本文设计实现了一种基于运动控制的增强现实系统,首先控制机器拍摄装置采集拍摄视频和机器运动数据,然后运用上述提出的运动控制相机轨迹跟踪和三维建模方法,获得相机轨迹和三维模型。在此基础上进一步提出一种运用激光笔投影设备对稀疏纹理场景人工添加纹理信息的方法,运用运动控制设备采集对应位置的投影图像和原图信息,再对投影图像三维建模以及映射原图纹理,构建更加完整的模型。设计并实现将轨迹数据、视频图像、虚拟物体或三维重建模型进行虚实图像融合的系统,解决现有方法难以处理存在稀疏纹理和动态物体场景图像的问题。