【摘 要】
:
近年来,无人机被应用到各行各业,深受普通民众的喜爱,无人机也逐渐朝着智能化的方向发展。在无人机智能化的方向中,通过人机交互的方式来控制无人机的飞行也是一个重要的研究方向。现在智能化人机交互的方式也主要以语音识别和动作识别为主,本文就是研究将语音识别技术和动作识别技术应用到无人机的飞行控制中去。在动作识别任务中,主要分为基于视频的动作识别和基于骨架数据的动作识别,考虑到骨架数据中数据量更小,模型训练
论文部分内容阅读
近年来,无人机被应用到各行各业,深受普通民众的喜爱,无人机也逐渐朝着智能化的方向发展。在无人机智能化的方向中,通过人机交互的方式来控制无人机的飞行也是一个重要的研究方向。现在智能化人机交互的方式也主要以语音识别和动作识别为主,本文就是研究将语音识别技术和动作识别技术应用到无人机的飞行控制中去。在动作识别任务中,主要分为基于视频的动作识别和基于骨架数据的动作识别,考虑到骨架数据中数据量更小,模型训练的花费更小一些,所以本文的研究基于骨架数据进行的。骨架数据主要是由Open Pose姿态估计算法从视频文件中提取而来,然后再用时空图卷积神经网络(ST-GCN)进行动作识别。在本文中自主设计了用于无人机飞行控制的动作数据集,再结合迁移学习来优化模型在自主数据集上学习不佳的问题。在语音识别任务中,针对传统的MFCC、Fbank等特征在做转换时会有信息损失,本文采用保留更多原始信息的语谱图作为声学特征表示,再利用CNN网络的平移不变性来提取声纹特征和双向GRU网络来学习语音信号上下文中的时序信息,用CTC做为损失函数实现一个端到端的语音识别模型。最后设计了基于语音识别和动作识别的无人机人机交互系统。本系统首先通过关键词语音唤醒系统,然后语音识别系统和动作识别系统才开始工作进行识别,将识别出的指令发送给无人机完成响应。针对连续输入的语音流信号,采用端点检测的方式提取只包含人声部分的语音片段进行识别;针对连续输入的视频流采用滑动窗口的方式截取视频段进行动作识别。最后在Air Sim仿真环境中进行仿真验证,并取得不错的实验效果。
其他文献
主动电场的水下探测方法最初来自弱电鱼,是一种新生的水下探测技术,研究人员希望对当前水下探测方法做一些补充手段。本文基于水下主动电场探测原理,主要对水下物体成像与水下物体缺陷检测两个方面进行基础研究,一方面是从主动电场成像出发,设计阵列以及相应的成像算法,通过实验来观察成像的效果;另一方面从目标物体的转折频率出发,将转折频率运用到水下缺陷检测工作中,分析转折频率与缺陷之间的关系。综上,本文的内容主要
从人们第一次提出云计算的概念,距离今天已经有十几年的时间了。在这十几年间,云计算技术获得了飞快的发展以及巨大的变化,越来越多的云平台被投入使用。但随着云平台中虚拟机集群规模的不断扩大,平台运维人员的工作量也在不断增加。面对数量成百上千的虚拟机集群,传统的人工操作和运维方式已经不再适合,传统方式带给工作人员的只有枯燥重复的工作,极易在过程中出现人为错误,而且耗费大量时间。本文主要针对于云平台中Win
随着计算机视觉技术的发展进步,基于图像的车牌检测识别方法在生活中得到了广泛应用,如自动停车场、小区门禁、高速路口等。我国汽车车牌种类繁多、数目庞大,在不同场景下产生了各类复合车牌,如双层车牌、港澳通行车牌、使馆车牌等等。针对上述场景,本文设计了基于深度学习的端对端车牌检测识别算法,研究内容主要分为以下部分:(1)车牌检测识别算法架构设计。通过对车牌场景分析,设计了车牌检测、文本检测、文本识别三阶段
人脸目标的三维重建技术一直是计算机视觉相关研究中的核心的部分之一,也是目前学术界关注的焦点。因为其广泛的应用前景以及其中蕴含的巨大商业价值而被广泛关注,例如医疗、教育、影视和游戏等行业中。当前对人脸进行三维重建的方法主要依赖于高昂价格的高精度设备进行采集,流程消耗大量的人力物力和时间成本。而基于单张照片进行人脸三维重建得益于近年来深度学习相关算法的软硬件发展逐渐取得了较大的进展。本文研究了现有的单
近年来,高超声速飞行器控制系统的设计已经成为航空航天科学领域的一个研究热点,在军事领域和民用领域都具有重要的研究价值。然而,传统的飞行器控制方法对飞行器系统的内部动力学信息具有强依赖性。因此,本文针对飞行器本身的高度非线性特性以及外部战场环境干扰的不确定性,研究基于增强学习的智能控制方法,避免对模型的强依赖性,使飞行器能够适应实际的任务需求并在线更新飞行器的飞行策略,达到灵活作战和智能控制的任务要
电子信息行业迅猛发展使得对电子设备及元器件的需求不断提高,智能制造的兴盛使得对自动测试与分拣系统的要求与日剧增。电子设备及元器件的种类、功能、规模、复杂程度等方面的不断增加,要求自动测试与分拣系统的适用性、灵活性不断提高;电子设备及元器件需求量的急剧增长,也使自动测试与分拣系统的使用更为广泛。在学校的培养体系中,智能制造、自动测试、机器人控制等方面的课程重视程度不断增加,实践教学需求不断拓展。为满
万向节作为轴承部件的一种,是汽车动力传动装置的重要组成部分。为了保证万向节工件的出厂质量,在生产过程中,需要对工件进行缺陷检测。工业上常用人眼检测磁粉探伤法来对万向节工件的表面缺陷进行检测,然而传统的人工检测效率低、稳定性差,且工作环境对人体健康有害。针对这些问题,本文设计了一种基于机器视觉的轴承部件磁粉探伤系统来代替人眼检测万向节工件的表面缺陷。系统针对万向节表面缺陷的特点,分别采用了基于图像处
孤独症,又称孤独症谱系障碍(Autism Spectrum Disorder,ASD),是一种广泛流行的神经发育障碍疾病。近年来,大量研究通过磁共振成像技术结合临床诊断表现对孤独症群体大脑的特定结构与功能进行探索,结果发现孤独症患者群体的大脑结构相较于正常人存在异常,而这些结构异常与其对应的脑功能异常甚至缺失有很大的关系。此外,孤独症的病因学复杂,是一种谱系障碍疾病,分为多种亚型。儿童时期既是大脑
随着通信技术的进步和通信用户的不断增加,通信系统迫切的需要提高带宽降低接入延时。5G技术在商用化过程中逐渐成熟,集群通信系统有了实现高宽带低延时的可能性,为了应对日益增长的集群通信行业用户的增长以及业务的扩展,迫切需要对宽带集群通信技术进行面向5G的数字化集群通信系统研发。同步过程是宽带通信系统中至关重要的过程,只有完成系统同步后系统才能成功进行数据传输,数据链路才能正常工作。在专用通信网络中很多
近年来随着自动驾驶车辆的快速发展,其对控制的精准性和灵活性提出了更高的要求,而机动性强、响应迅速的四轮独立转向车辆为上述需求提供了有效方案。但由于四轮独立转向车辆具有高度的非线性,存在复杂的“侧向一纵向一垂向”耦合制约关系等问题,使得协调该类型车辆的转向操纵性和稳定性成为难点。本文以四轮独立转向车辆为研究对象,根据其四轮独立可控特点建立整体车辆模型,并基于车辆转向稳定性分析,设计了转向稳定控制系统