论文部分内容阅读
摘要： 受制于手机等移动端设备的硬件性能，传统的增强现实系统跟踪注册算法在实时性和精度上效果普遍较差。针对这一问题，提出一种基于手机传感器的混合跟踪注册算法。算法融合了智能手机的GPS、陀螺仪和加速度等传感器，通过自适应卡尔曼滤波器实现了多传感器混合跟踪注册，提高了注册精度。仿真实验结果表明，算法具有较强的实用性，在面向移动端的增强现实系统中具有广泛的应用前景。
关键词： 移动增强现实；手机传感器；混合跟踪注册；卡尔曼滤波器
【中图分类号】TK513【文献标识码】A【文章编号】2236-1879（2018）01-0265-01
移动增强现实MAR是近年来计算机领域的研究热点，它能够把虚拟信息如文字、图像或三维模型等和真实世界的内容进行实时融合，对齐显示并实现一定的交互。MAR系统的核心是其虚拟信息的跟踪注册，即虚拟对象和真实世界的定位对齐。跟踪注册算法的优劣决定了增强现实系统的性能，也直接影响用户的体验。手机等移动端设备的硬件与台式计算机等设备相比性能较弱，因此，基于视觉等传统的跟踪注册算法，在手机上往往无法运行，或运行速度慢，精度低。同时，也应注意到，手机上有很多传感器，如定位用的GPS，可以估算位姿的电子罗盘和加速度传感器等等，因此，将移动设备传感器采集的数据融合进来，实现复杂自然场景中的实时跟踪注册，肯定可以改善MAR系统的可用性和用户体验。
目前的混合跟踪注册技术虽然于2009年已经在国外起步，但成果相对较少。美国的研究人员利用惯性跟踪器与视觉方法进行了混合跟踪注册，提高了注册精度。Wagner通过对SIFT和Ferns进行改进，在手机上实现了第一个6自由度的实时自然特征追踪系统。罗亚威等人利用移动设备的重力加速度计，提出了一种快速特征点匹配算法，彭雪提出了一种磁传感器和深度视觉数据的混合跟踪注册技术，但该技术无法用于移动设备。
混合跟踪注册是指在一个增强现实系统中采用两种及两种以上的跟踪注册技术，以实现各种跟踪注册技术的优势互补。例如，基于视觉图像的跟踪注册技术容易受到环境影响，在标识物或拍摄环境变化较大时，算法的精度较低。而基于传感器的跟踪注册算法速度较快，但是手机传感器的定位精度有限，也存在漂移误差。上述的两种跟踪注册技术一定程度上可以互补，因此，本文提出基于手机传感器和传统视觉的混合跟踪注册算法，从而提高跟踪注册的精度和速度。
算法大体分为三个阶段。首先，将从手机摄像头获取的视频数据和若干传感器获取的数据进行真实世界三维坐标转换；其次，根据传感器和视觉数据跟踪的误差估计，通过卡尔曼滤波器去估计出实时权值；最终，通过获取这两种跟踪方式的动态实时权值进行数据融合，并进行对应的跟踪注册。本文方法的流程图如下图1所示。
图1基于手机传感器的混合跟踪注册算法流程图
在跟踪注册过程中，由于算法中的数据来源多样，用于注册定位的坐标系可能不同，因此需要进行坐标系变换。通过坐标变换，将基于手机摄像头取得的视觉坐标信息和基于传感器获取的手机位姿信息统一起来，以便进一步进行数据融合。在此过程中，可以用世界坐标系作为参考。对于手机等移动设备在真是场景中的位姿确定，可以借助GPS、重力加速度传感器、陀螺仪和磁场感应器等传感器的数据进行。如可以先获取设备的重力加速度传感器和磁场感应器空间坐标值（各三个），通过变换矩阵，得出其与世界坐标系的关系坐标矩阵。此数据即可作为位姿估计时的输入。
常见的数据融合方式虽然融合了多路传感器的数据，但是无法分别这些数据的优劣，比如在某一时刻GPS的定位误差较大，而视觉数据的定位信息质量较好，这样分配同样的权值就会造成跟踪精度低的结果。因此，对于本文的跟踪注册任务，必须能够实时调整权值，因此自适应卡尔曼滤波器是较好的方法。卡尔曼滤波器是一个最优化自回归数据处理算法，可以较为高效的估计过程的状态变量，同时令估计的均方误差最小。卡尔曼滤波器每次只根据之前的测量变量递归计算当前的状态估计，因此能较好的保证跟踪注册过程的稳定性和实时性。它利用传感器数据较为充分，能够在视觉数据丢失或不可靠的情况下，继续准确、稳定的跟踪。
为了验证本文算法的混合跟踪性能，在Android智能手机上进行了仿真实验。实验时采用视觉遮挡等方法对算法的精度，实时性和鲁棒性进行验证。同时，为了对比分析，也采集了单一视觉跟踪注册算法的相关实验数据。从实验结果可以看出单一方法在视觉遮挡时注册精度大幅度降低，而本文的混合方法最大误差为3CM左右，精度较高。同时，基于自适应卡尔曼滤波的融合算法能较长时间的保持跟踪的稳定性和精度。此外，算法对硬件性能要求不高，对手机等移动端设备较为适用。
参考文献
[1]曲毅，李爱光，徐旺，汪鹏，侯晓宁. 面向ArGIS的多传感器混合跟踪注册研究[J].测绘与空间地理信息，2017，40（3）：114-117.
[2]邹国良，屠正飞，郑宗生.基于混合注册方式的海洋环境增强现实系统[J].计算机应用與软件，2016，33（10）：158-161.
基金项目：2016年浙江省高校访问工程师校企合作项目“基于混合跟踪注册技术的移动增强现实系统” （FG2016017）
作者简介：胡平（1978- ），女，黑龙江齐齐哈尔人，金华职业技术学院信息工程学院副教授，研究方向为深度学习、虚拟现实与人机交互
关键词： 移动增强现实；手机传感器；混合跟踪注册；卡尔曼滤波器
【中图分类号】TK513【文献标识码】A【文章编号】2236-1879（2018）01-0265-01
移动增强现实MAR是近年来计算机领域的研究热点，它能够把虚拟信息如文字、图像或三维模型等和真实世界的内容进行实时融合，对齐显示并实现一定的交互。MAR系统的核心是其虚拟信息的跟踪注册，即虚拟对象和真实世界的定位对齐。跟踪注册算法的优劣决定了增强现实系统的性能，也直接影响用户的体验。手机等移动端设备的硬件与台式计算机等设备相比性能较弱，因此，基于视觉等传统的跟踪注册算法，在手机上往往无法运行，或运行速度慢，精度低。同时，也应注意到，手机上有很多传感器，如定位用的GPS，可以估算位姿的电子罗盘和加速度传感器等等，因此，将移动设备传感器采集的数据融合进来，实现复杂自然场景中的实时跟踪注册，肯定可以改善MAR系统的可用性和用户体验。
目前的混合跟踪注册技术虽然于2009年已经在国外起步，但成果相对较少。美国的研究人员利用惯性跟踪器与视觉方法进行了混合跟踪注册，提高了注册精度。Wagner通过对SIFT和Ferns进行改进，在手机上实现了第一个6自由度的实时自然特征追踪系统。罗亚威等人利用移动设备的重力加速度计，提出了一种快速特征点匹配算法，彭雪提出了一种磁传感器和深度视觉数据的混合跟踪注册技术，但该技术无法用于移动设备。
混合跟踪注册是指在一个增强现实系统中采用两种及两种以上的跟踪注册技术，以实现各种跟踪注册技术的优势互补。例如，基于视觉图像的跟踪注册技术容易受到环境影响，在标识物或拍摄环境变化较大时，算法的精度较低。而基于传感器的跟踪注册算法速度较快，但是手机传感器的定位精度有限，也存在漂移误差。上述的两种跟踪注册技术一定程度上可以互补，因此，本文提出基于手机传感器和传统视觉的混合跟踪注册算法，从而提高跟踪注册的精度和速度。
算法大体分为三个阶段。首先，将从手机摄像头获取的视频数据和若干传感器获取的数据进行真实世界三维坐标转换；其次，根据传感器和视觉数据跟踪的误差估计，通过卡尔曼滤波器去估计出实时权值；最终，通过获取这两种跟踪方式的动态实时权值进行数据融合，并进行对应的跟踪注册。本文方法的流程图如下图1所示。
图1基于手机传感器的混合跟踪注册算法流程图
在跟踪注册过程中，由于算法中的数据来源多样，用于注册定位的坐标系可能不同，因此需要进行坐标系变换。通过坐标变换，将基于手机摄像头取得的视觉坐标信息和基于传感器获取的手机位姿信息统一起来，以便进一步进行数据融合。在此过程中，可以用世界坐标系作为参考。对于手机等移动设备在真是场景中的位姿确定，可以借助GPS、重力加速度传感器、陀螺仪和磁场感应器等传感器的数据进行。如可以先获取设备的重力加速度传感器和磁场感应器空间坐标值（各三个），通过变换矩阵，得出其与世界坐标系的关系坐标矩阵。此数据即可作为位姿估计时的输入。
常见的数据融合方式虽然融合了多路传感器的数据，但是无法分别这些数据的优劣，比如在某一时刻GPS的定位误差较大，而视觉数据的定位信息质量较好，这样分配同样的权值就会造成跟踪精度低的结果。因此，对于本文的跟踪注册任务，必须能够实时调整权值，因此自适应卡尔曼滤波器是较好的方法。卡尔曼滤波器是一个最优化自回归数据处理算法，可以较为高效的估计过程的状态变量，同时令估计的均方误差最小。卡尔曼滤波器每次只根据之前的测量变量递归计算当前的状态估计，因此能较好的保证跟踪注册过程的稳定性和实时性。它利用传感器数据较为充分，能够在视觉数据丢失或不可靠的情况下，继续准确、稳定的跟踪。
为了验证本文算法的混合跟踪性能，在Android智能手机上进行了仿真实验。实验时采用视觉遮挡等方法对算法的精度，实时性和鲁棒性进行验证。同时，为了对比分析，也采集了单一视觉跟踪注册算法的相关实验数据。从实验结果可以看出单一方法在视觉遮挡时注册精度大幅度降低，而本文的混合方法最大误差为3CM左右，精度较高。同时，基于自适应卡尔曼滤波的融合算法能较长时间的保持跟踪的稳定性和精度。此外，算法对硬件性能要求不高，对手机等移动端设备较为适用。
参考文献
[1]曲毅，李爱光，徐旺，汪鹏，侯晓宁. 面向ArGIS的多传感器混合跟踪注册研究[J].测绘与空间地理信息，2017，40（3）：114-117.
[2]邹国良，屠正飞，郑宗生.基于混合注册方式的海洋环境增强现实系统[J].计算机应用與软件，2016，33（10）：158-161.
基金项目：2016年浙江省高校访问工程师校企合作项目“基于混合跟踪注册技术的移动增强现实系统” （FG2016017）
作者简介：胡平（1978- ），女，黑龙江齐齐哈尔人，金华职业技术学院信息工程学院副教授，研究方向为深度学习、虚拟现实与人机交互