计算机硬件的运算效率的提高让增强现实领域飞速发展,人们设想的增强现实系统往往建立在了复杂的3D空间中,但部分的传感器由于造价高昂并不适合广泛应用,这就很大限制了增强现实的准确性和时效性。而且多数的增强现实基于传统的计算机视觉算法,这类算法往往臃肿且复杂,在多个环境下对于不同的目标会忽略很多的特征信息。近几年,深度学习解决了多个视觉领域的难题,逐渐应用在各个工程中,现如今深度学习成为最为火热的话题之一,成为了计算机视觉的重要工具。本论文通过对深度学习研究,多次训练神经网络后进行对比,不仅对训练的流程提出了一些改进意见,并基于深度学习设计了一套手部增强现实系统的方案,主要工作包括:1.设计了一种自上而下多目标姿态估计的神经网络,主要由YoloX和HRNet两个网络拼接而成,通过学习数据集中的手的姿态,可以直接预测出手上的关键点信息,实验结果表明,该网络在工业相机采集的图像上预测的平均误差为5.67像素,网络预测的精准,且具有更好的鲁棒性。2.优化了mosaic数据增强,在原版的mosaic算法针对单目标的样本并不合理,在本文中设计了一套预处理的方法对该算法进行了优化,在使用优化后的算法后,让mosaic数据增强处理的图片中的目标更为均匀,单目标在图中的个数会保持稳定,得到YoloX的评测结果提高了2.5%。3.对YoloX的IoULoss进行了替换,使用了CIoULoss来计算框之间的关系损失,该损失函数不仅关注框的形状,还关注了中心点的位置。经过测试,该损失函数可以加快损失的收敛,进而加快模型的训练。4.在实验中会涉及复杂的图像坐标变换,对此设计了一种基于奇异值分解获取坐标变换矩阵方法,使用该方法不但可以准确获取变换矩阵,同时整个流程方便快捷。5.基于训练好的自上而下的姿态估计神经网络,设计了一套关于手的增强现实技术方案,使用计算机视觉算法将虚拟和现实相联系并且融合,该方案相对于其他增强现实更为新颖。