随着计算机视觉技术、投影显示技术和虚拟现实技术的快速发展,人机交互方式变得越来越多样化、直观化,一种基于投影的交互系统吸引了科研人员的研究兴趣。目前投影互动系统虽然用户体验好、沉浸感逼真,但是仍然存在识别准确率不高、实时性不好、需要佩戴辅助设备等问题制约着其进一步的发展和应用。本文针对当前存在的问题展开研究,设计了一种基于卷积神经网络的投影交互系统,本系统基于射箭这一场景,利用卷积神经网络和近红外探测法分别实现对手部的跟踪和箭矢击中位置的检测,并在此基础上模拟箭矢的飞行轨迹。论文主要研究工作包括以下三个方面:(1)弓箭的数学模型与飞行轨迹。本文描述了弓的数学模型,分析了拉伸距离与拉力之间的关系,并在难以求解具体表达式的情况下,提出了分段映射法来表述它们之间的关系,该方法能够很好的兼顾实时性和准确性。本文也在上述工作的基础上对箭矢飞行轨迹进行了推导,获得了轨迹坐标与双手距离以及击中位置的具体关系。(2)手部实时跟踪算法的研究与实现。投影互动系统实现过程遇到的最大挑战是对手部的识别与跟踪。传统的手部跟踪算法通常具有算法复杂度过高、对识别场景限制较多等问题,从而导致跟踪效果不佳。而卷积神经网络应用于物体检测领域,具有准确度高和实时性好等优点。本文采用YOLO(You Only Look Once,YOLO)这一基于卷积神经网络的算法对手部进行跟踪,并在YOLOv2的基础上对模型进行了改进,包括引入上下文信息、多尺度池化等,最后利用改进的YOLOv2网络实现了对手部的实时跟踪。(3)箭矢击中位置的检测。本文采用近红外探测的方式对击中位置进行检测,该方法首先通过硬件设计使得采集到的图像仅包含弓箭射击产生的光斑,这显著降低了图像检测的难度。然后利用图像校正、膨胀、腐蚀以及轮廓提取等算法获得击中位置信息,进而实现用户与系统的交互。实验结果表明,改进的YOLOv2目标检测算法能够快速精准地对手部进行跟踪,近红外探测法能够准确定位箭矢击中位置,基于此生成的飞行轨迹交互画面能够较好的与用户互动。本文设计的投影互动系统具有良好的实时性、准确性和经济性。