随着增强现实(Argument Reality,AR)和机器视觉的发展,单一的二维场景和落后的交互手段已经不能满足用户日益增长的体验感需求。AR的本质是将渲染出的虚拟物体叠加在相机拍摄的真实世界图层之上,虚拟物体是三维的,而相机拍摄的图像是二维的,这导致了二者无法完美叠加,从而显示上存在错位,晃动等视觉错误,用户体验感差。其次,传统交互手段无法满足AR交互需求,借助数据手套或手柄需要额外辅助设备,缺乏自然性,发展受到制约。现阶段增强现实设备(如Kinect)成本高,且户外无法使用,用户交互需要借助手柄,没有广泛的适用性。因此,为了实现AR轻量化和自然化,本文结合最近几年发展快速的同时定位与地图重建技术(SLAM)和计算机视觉中神经网络技术。进行了如下研究:1.使用单目视觉方法进行点云和平面重建。视觉SLAM方法通过对极几何,在多帧图像间可以确定出待测点深度信息,从而重建出三维点云。选择合适特征点算法,实现三维点云获取,并改进视觉SLAM中视觉里程计部分,使用IMU模块对视觉SLAM中快速运动易丢失现象进行改进,最终构建出带有深度信息的三维点云。将点云通过KD树管理查找,使用最小二乘法拟合出平面。2.通过卷积神经网络训练进行手势识别。卷积神经网络能够对多尺度特征实现提取,在图像识别领域有很好效果,因此使用卷积神经网络进行手势识别,使用MobileNet神经网络架构代替普通卷积神经网络,具有计算速度快,硬件需求小的优势,并且可以在手机端实现。用SVM分类器代替卷积神经网络中的Softmax分类器,将全连接层训练得到的特征提取出来后,使用SVM分类器进行二次训练,得到一个识别精度高和泛化能力强的识别模型,提升神经网络识别效果。实验表明,使用改进后的视觉SLAM可以稳定且快速的单目视觉重建出稀疏点云,结合点云信息可以提取出空间平面信息,同时实现空间结构识别。使用改进后的MobileNet架构训练CNN,进行手势识别,可以有效减少计算量,实现AR轻量化和自然化。