近年来,无人机被应用到各行各业,深受普通民众的喜爱,无人机也逐渐朝着智能化的方向发展。在无人机智能化的方向中,通过人机交互的方式来控制无人机的飞行也是一个重要的研究方向。现在智能化人机交互的方式也主要以语音识别和动作识别为主,本文就是研究将语音识别技术和动作识别技术应用到无人机的飞行控制中去。在动作识别任务中,主要分为基于视频的动作识别和基于骨架数据的动作识别,考虑到骨架数据中数据量更小,模型训练的花费更小一些,所以本文的研究基于骨架数据进行的。骨架数据主要是由Open Pose姿态估计算法从视频文件中提取而来,然后再用时空图卷积神经网络（ST-GCN）进行动作识别。在本文中自主设计了用于无人机飞行控制的动作数据集,再结合迁移学习来优化模型在自主数据集上学习不佳的问题。在语音识别任务中,针对传统的MFCC、Fbank等特征在做转换时会有信息损失,本文采用保留更多原始信息的语谱图作为声学特征表示,再利用CNN网络的平移不变性来提取声纹特征和双向GRU网络来学习语音信号上下文中的时序信息,用CTC做为损失函数实现一个端到端的语音识别模型。最后设计了基于语音识别和动作识别的无人机人机交互系统。本系统首先通过关键词语音唤醒系统,然后语音识别系统和动作识别系统才开始工作进行识别,将识别出的指令发送给无人机完成响应。针对连续输入的语音流信号,采用端点检测的方式提取只包含人声部分的语音片段进行识别;针对连续输入的视频流采用滑动窗口的方式截取视频段进行动作识别。最后在Air Sim仿真环境中进行仿真验证,并取得不错的实验效果。