无人机作为一种利用无线电方式控制指挥的无人设备,其控制准确性极大依赖于通信信号的强弱,在复杂场景下容易出现指挥控制困难、设备不兼容、数据传输容易被干扰等情况。因此,需要寻找一种更高效、兼容性更好、更安全的人机交互方法。随着深度学习的发展,出现越来越多的算法来解决在人机交互领域的动作识别问题。但多数方法采用图像+光流的形式进行联合训练,计算成本巨大,且容易受到浅层视觉特征的影响。本文基于姿态检测算法,提出了一套无人机指令自动识别的研究方法,能做到实时、准确的识别指挥人员对无人机所实施的控制指令。本文的研究内容具体如下:1.针对无线电控制指挥无人机存在的交互困难等问题,研究用计算机视觉方式对指令动作进行识别。此外,以往动作识别方法鲁棒性不够高且计算成本过大,因此提出使用基于姿态检测的动作特征提取技术,以提高分类模型的准确性和实时性。2.自定义了一套标准化引导和指挥手势规则,采集并制作了相关数据集。通过定义动作规范,能够从连续视频流中不断定位到动作发生和结束位置,从而保证指令自动识别过程的顺利进行。3.设计了一套基于特征模型的分类动作解析规则。针对以往动作识别缺少骨架空间信息的问题,提出先将骨架转换为图结构,再使用时空图卷积网络来提取动作时序和空间上的特征信息。此外,针对在测试过程中特征提取模型和动作分类模型的速度不匹配问题,提出补充模拟帧的方案,从而保证较高识别精度。4.设计并实现了一套无人机指令自动识别的系统。该系统实现了指挥员指令动作到无人机控制命令的实时、准确转换。为了能从连续骨架中切割出完整动作,提出模板匹配技术,这种方法能将动作很完整的切割出来。此外,针对机载部署的问题,还将系统迁移到了更轻量级的嵌入式设备,并做了机载方面的性能优化,使得模型推理速度极大地提高。本文最后在复杂环境下测试了机载系统的性能,平均准确率达到94.29%,实时处理度约为15FPS,展示了本方案在解决无人机交互控制问题上的有效性,并且极大地简化了控制流程,提高了兼容性,在无人机快速发展的环境下,具有良好的应用前景。