论文部分内容阅读
随着人机交互技术的不断发展,投影交互技术开始进入人们的视野并且在众多领域中得到了广泛的应用。针对当前投影交互系统存在的系统设备繁多、硬件成本高以及识别算法鲁棒性低等问题,本文结合机器视觉中的神经网络技术和图像处理技术,提出了一种基于改进型YOLOv3算法的投影交互方法,并开发出一个弓箭游戏场景下的投影交互系统,该系统具有硬件实现简单、交互准确等特点。本文的主要工作包括以下三个部分:(1)投影区域的自动定位与校正算法研究。对图像中投影场景区域的准确定位和校正是实现人机精准交互的前提。本文研究了一种基于大尺度Laplace滤波和直线滤波算子的直线检测算法实现投影区域边界的检测,该算法有效地解决了边界模糊的问题。本文通过研究坐标变换关系,采用了单应性变换求解出从图像坐标系到游戏场景坐标系的映射关系。(2)箭矢定位算法研究。投影交互系统实现的关键是如何从复杂背景中准确地获取交互信息。本文为减少系统对设备的依赖,采用摄像头作为获取交互信息的传感器。为解决传统图像处理技术易受场景制约的问题,本文通过研究卷积神经网络技术,在YOLOv3目标检测算法的基础上对其损失函数进行改进,并通过一种自适应剪枝算法缩减YOLOv3的特征提取部分,最后利用改进的YOLOv3算法完成对箭矢位置的实时检测。(3)弓箭游戏投影交互系统的实现。硬件上,系统的设备组成为摄像头、投影仪以及计算机,与其他投影交互系统相比,该系统设备更少,更易于推广。软件上,本文在Windows系统下,实现了封装了本文核心算法的投影交互系统软件,以及开发出用以展示交互效果的弓箭游戏场景。最终,对投影交互系统进行了实际测试,实验结果表明了系统能快速且准确地检测出箭矢目标,且实现了较好的互动效果。