论文部分内容阅读
增强现实技术通过将虚拟信息叠加在真实场景上进行渲染,丰富了使用者的感知。数字孪生技术是对真实世界的数字复刻,它基于空间位置的映射关系实现三维物理空间与数字世界的虚实交融。增强现实技术与数字孪生的集成可以在真实物理对象上叠加虚拟的三维孪生模型、提高数据的可视化能力,而其中的关键技术就是实景映射。三维场景实景映射技术计算相机的位置和姿态,并基于数字世界中实体所具备的真实空间坐标和姿态获得三维数字世界和现实物理世界的映射关系,以在相机视角实现虚实融合。因此,相机位姿估计的准确度对实景映射技术的精度和增强现实的效果至关重要。传统的视觉惯性导航系统虽然可以获取相机的位置和姿态,但是受光照条件和运动物体影响较大。弱光照环境下的图像质量会明显下降,运动物体在图像中对应的像素会发生偏移,这些都会对系统的精度和鲁棒性造成影响。为了提升实景映射的精度,改善增强现实系统虚实融合的效果,本文从图像增强、消除运动物体影响和改进定位方法等角度出发,力图提高视觉惯性导航系统对相机位姿估计的鲁棒性和精度。论文的主要研究成果如下:(1)提出了面向时序数据的暗光图像增强算法。为了提高视觉惯性导航系统在低照度环境下相机位姿估计的精度,本研究提出了适用于时序数据的暗光图像增强算法以提升图像质量。首先,通过实验从图像增强效果和算法运行效率两方面比较现有的图像增强算法;之后,为了使算法更加适合应用于视觉惯性导航系统,对其进行改进:使用了三维卷积神经网络以保留图像帧之间的时间相关性,为了提高图像特征点的稳定性改进了空间相关性的模型。改进之后的算法在实时运行的前提下可以有效提升图像质量,更加适合序列数据。在公开数据集中,与应用未改进的图像增强算法的定位导航系统相比,本方法的系统定位精度提升19.83%。(2)提出了一种融合惯性测量单元(Inertial Measurement Unit,IMU)数据的动态特征点剔除算法。为了提升动态环境下视觉惯性导航系统的定位精度和鲁棒性,本文研究了使用IMU数据辅助剔除动态特征点的算法。首先,使用算法对IMU数据累积误差进行检验;之后,使用准确的IMU数据计算相邻两帧图像之间的相机运动;最后,计算图像特征点匹配到运动模型的距离,距离较大的特征点匹配是需要剔除的错误匹配或者动态特征点匹配。IMU直接测量设备自身运动,不受环境影响,所以算法可以适用于运动信息较多的场景。该算法可以有效剔除图像中的动态特征点。与VINS-mono相比,在公开数据集中本算法的定位导航系统精度提升4.00%。(3)提出了多约束融合的动态特征点剔除算法。在融合IMU数据的动态特征点剔除算法的基础上进行了更深一步的研究。算法融合了多种约束,既可以与IMU数据相结合剔除沿极线方向偏移的特征点,又能够利用空间一致性和视觉数据的时空关系剔除动态特征点。算法将多种约束进行融合,避免了单一约束失效的情形,能够更好地剔除运动物体上的特征点,提高了特征点匹配的精度。将算法集成到视觉惯性导航系统中,提出了VINS-dimc,通过公开数据集和自行采集的数据上的实验证明了本算法在多种环境下都能够准确剔除动态特征点,同时又能保留静态特征点,在公开数据集中本算法的定位精度与VINS-mono相比提升4.45%。(4)提出了云—端协同的定位方法。本文研究了云—端协同的定位方法,终端定位在智能终端上完成,使用改进的视觉惯性导航系统估计相机的位置和姿态;云服务定位在云服务器完成,将图像传输至云服务器,提取特征点并通过与已有的三维孪生点云数据进行匹配计算相机的位置和姿态,进而使用云定位的结果对终端定位进行修正以减小累积误差。相较于只使用视觉惯性导航系统的传统方法,改进后的系统的累积误差更小、定位更加准确、稳定。将此定位方法应用于增强现实系统,在对三维孪生场景赋予真实三维坐标后,实景映射技术利用稳定精准的相机位姿将三维孪生场景映射到真实场景中,实现了相机视角下的虚实融合。