基于运动控制的稀疏纹理图像增强现实技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:yanwensen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于图像的增强现实技术有着广泛的应用领域,如拍摄视频轨迹跟踪、虚实图像融合、基于图像的三维建模等技术广泛应用于教育、影视、娱乐等行业。这些技术通过从图像中提取有效的纹理特征信息,并建立图像间的对应点匹配关系,然后运用计算机视觉技术,恢复出真实场景的三维空间信息。然而现实中的场景有时存在纹理颜色单一(如白色的墙面等)或动态(如走动的人等)的物体等,现有的技术难以鲁棒检测和匹配这类场景图像的特征信息,导致无法有效进行后续的相机轨迹求解和三维建模。  机器人领域中的运动控制具有非常高的精度,并且已有一些成功的视觉和控制结合的应用,如安装有摄像头机器人的自动物体抓取等。机器人控制技术可用来解决,基于图像匹配的轨迹跟踪技术难以有效跟踪纹理稀疏和动态物体的视频图像的难题,但其本身也存在一些不足之处,比如现有的手眼标定算法存在拍摄不便或精度较低的问题。  针对上述问题,本文基于一套运动控制摄影系统,针对纹理稀疏的物体场景,采集相机拍摄视频和机器运动数据,开展运动控制相机轨迹跟踪和三维建模技术研究,应用于增强现实领域中的虚拟物体和真实图像融合,并取得了以下研究成果。  (1)提出了一种基于二阶锥规划和分支定界约束的运动控制相机轨迹跟踪方法  运动控制摄影对应的相机轨迹跟踪,与拍摄的视频场景纹理信息无关,可处理纹理稀疏图像等特征的相机轨迹追踪问题,其核心技术是手眼标定算法。手眼标定方程的输入相机参数,根据获取方式可分为两类:基于特定参照物(如均匀平整棋盘图纸)的相机标定法和直接从普通场景图像获取的运动恢复结构法。棋盘图方法精度较高,但需要额外的精细参照物,运动恢复结构的方法拍摄简单,但其标定精度较低。  针对上述问题,本文提出了一种基于螺旋运动约束方法,用于筛选出运动恢复结构方法得到的相机矩阵中的噪声较大数据,然后提出一种手眼标定方程的矩张量乘积表示形式,并运用二阶锥规划和松弛变量约束对其优化,最后提出一种分支定界约束方法获得标定变量的全局最优解。实验结果表明,提出的方法有效提升了无标定参照物场景的标定精度以及对应的相机轨迹追踪精度。  (2)提出了一种纹理稀疏图像三维建模扩展滤波优化方法  现有基于图像的三维建模方法的重要基础是,能够从图像序列中检测匹配到大量的鲁棒特征点对。现有的特征匹配算法对于纹理信息丰富的图像具有良好的表现,然而在现实中并非所有的场景图像都具有丰富的纹理信息,如白色的墙壁等,这些场景图像中相似的特征区域太多,导致大量的特征区域误匹配。虽然在后续的相机矩阵分析和三维重构步骤中,也有针对图像噪声数据的优化方法,但并不能完全删除噪声点,如果存在较多的噪声数据,必然影响到相机轨迹跟踪和三维建模的精度。  本文对产生三维重构噪声的原因进行分析,提出一种基于图像的三维建模扩展滤波方法,通过相机矩阵优化、扩展滤波约束等方法减少纹理稀疏图像区域导致的噪声点云,提高建模的精度。实验结果表明,与现有方法相比,本文方法显著减少了三维噪声点云,提高了三维重构的精度。  (3)设计实现一种基于运动控制的纹理稀疏图像增强现实系统  基于图像的增强现实的一个重要应用是场景图像的虚实融合,其将真实的视频图像与虚拟的图形绘制物体或图像建模方法构建的纹理模型融合在一起,其技术基础是相机轨迹跟踪方法和三维建模方法。现有的基于视频图像特征匹配的方法难以处理纹理稀疏或存在动态物体的场景,无法获得良好的增强现实效果。  本文设计实现了一种基于运动控制的增强现实系统,首先控制机器拍摄装置采集拍摄视频和机器运动数据,然后运用上述提出的运动控制相机轨迹跟踪和三维建模方法,获得相机轨迹和三维模型。在此基础上进一步提出一种运用激光笔投影设备对稀疏纹理场景人工添加纹理信息的方法,运用运动控制设备采集对应位置的投影图像和原图信息,再对投影图像三维建模以及映射原图纹理,构建更加完整的模型。设计并实现将轨迹数据、视频图像、虚拟物体或三维重建模型进行虚实图像融合的系统,解决现有方法难以处理存在稀疏纹理和动态物体场景图像的问题。
其他文献
学位
学位
这份工作报告汇报的是“C元”并行编程语言的研发成果。该编程语言的目的是把繁琐复杂的分布式众核并行计算应用软件开发工作变得轻松简单。为此,本文作者设计了“C元”的并行
目前,部分疾病如动静脉交叉压迫、棉絮斑都能从眼底图中找到依据,且眼底图由于拍摄简单,成本低廉,信息丰富而被广泛应用到疾病检测中。随着数字医疗的发展,如何利用前沿的图像处理
随着互联网广告的兴起,越来越多的商业机构通过投放网络广告获得客户购买行为,来产生利润。其中百度的搜索推广系统应用最为普遍,利用其精准的关键词定位技术,将高质量的企业推广
网络虚拟化作为解决互联网架构的僵化问题的可行性方案,引起了越来越多研究机构的关注。本文在此背景之下,重点关注网络虚拟化环境下的故障管理。故障管理可以保证及时获得网
学位
随着半导体技术的发展和消费类电子产品复杂度的不断增长,基于平台的设计(Platform-Based Design)方法逐渐成为片上系统(System-on-Chip,SoC)设计主流,且SoC运行的软件系统日
森林火灾会给人类带来很多重大的灾害,而林火行为受到多种因素的制约,研究制约林火蔓延的规律,并借助计算机的帮助模拟林火从发生到发展的蔓延状态具有非常现实的意义。本文
随着信息化技术的发展,工作流技术已经被越来越广泛的应用到企业的信息化系统中,人们对于工作流技术的需求也越来越多样。工作流引擎在执行流程实例的过程中会调用执行一些系统