增强现实是以三维注册、虚实融合与人机交互为基础,实现虚拟物体和真实场景相互融合的技术。增强现实任务的核心问题是对现实场景中的物体进行准确、快速地识别和跟踪,以便将虚拟物体准确地放置在相应的位置上。本文针对增强现实中的三维注册技术进行研究,主要采用基于深度学习的方法对目标检测和位姿估计算法进行了研究与改进,提出了一个鲁棒性强且能满足实时需求的物体识别系统,本文主要贡献如下:（1）针对传统目标检测模型在目标遮挡和复杂背景条件下检测精度较低的问题,本文提出了一种引入结合自注意力机制的目标检测算法。本文改进了Retina Net目标检测模型的主干特征提取网络结构,通过引入自注意力机制模块增强网络模型对图像特征的提取和学习能力,有效地提升了模型的检测准确率和鲁棒性;使用差分进化算法对数据集中的Anchor尺寸进行优化,确保模型在提升精度的同时保证较高的检测效率。本文在PASCAL VOC数据集上进行了对比实验,实验结果表明,本文改进的目标检测网络模型在图像中存在目标遮挡和复杂背景的情况下有更好的鲁棒性。（2）为了实现对三维物体的位姿估计,设计了一种端对端的6D位姿估计算法。本文在原有的目标检测模型结构进行改进,首先通过卷积神经网络输出物体二维图像上的2D关键点信息,建立三维物体3D顶点和2D关键点的对应关系后,再使用Perspective-n-Point（Pnp）算法求解目标在三维空间中的平移分量和旋转分量,以完成对三维物体的位姿估计。本文使用Line Mod数据集与已有的位姿估计算法进行了对比实验,实验结果表明,改进后的位姿估计模型在2D重投影误差和物体在三维空间中的ADD度量误差两个指标上均可以达到主流算法的平均水平,验证了本文提出的位姿估计算法的正确性。（3）搭建了一个基于深度学习的物体识别与跟踪的增强现实系统,实现了对于二维图像和三维物体的识别与跟踪。实验结果表明本文提出的面向增强现实目标检测系统有较高的检测准确率和实际应用价值。