基于视觉的环境感知是增强现实设备中的重要技术之一,包括了相机的定位和场景中物体的识别及定位。其难点在于仅依靠单目相机恢复深度,完成相机的定位,并计算物体种类与其对于相机的位姿。本文对该问题进行了研究,在微软的增强现实设备Hololens上了开发一套使用单目相机完成定位、识别显著物体并计算它们与相机的相对位姿的定位与感知系统。首先,详细阐述了基于人工标志的PnP算法原理,并根据PnP易受噪声而产生误差的缺点,设计了基于对极几何进行误差检测的定位系统,并通过实验证明该系统在应用环境中能可靠运行。其次,分析了全局特征和局部特征在物体识别中的优势,使用SURF局部特征和多种全局特征进行训练,并用一种自适用加权的融合算法将不同特征融合,从而提高识别效果。在物体定位方面,针对单目相机无法直接获取深度信息的缺点,采用虚拟相机获取物体几何模型并生成用于模板匹配的二维模型,再通过模拟退火优化的遗传算法快速得到最佳匹配位姿。最后,阐述了Hololens上系统结构与运行流程。介绍了多源数据在Hololens上的融合方法以及各模块的融合,并对系统进行了多项测试实验证明在各场景中的表现效果能满足要求,相机定位精度满足粗定位要求,物体识别的时间和准确率都能达到标准。