基于Q-learning的集群避障算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:ejian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来无人机、无人小车等智能体因其稳定性高、适应性强、风险小等特点得到了快速发展;智能体集群化解决了单个智能体功能性有限的问题,发挥集群优势的同时对智能个体进行了有效的整合。集群避障一直以来是智能体群体控制的重要模块,大多避障算法在遭遇复杂障碍物环境时容易陷入局部最优值使得智能体无法快速进行障碍物躲避;本文根据智能体集群在障碍物环境任务执行过程中避障需要,对Flocking协同控制算法和Q-learning算法进行结合提出两种避障算法模型,解决了智能体在任务执行中的避障模式单一和避障效果不佳的问题,并对智能体集群训练算法进行了改进。对此本文主要研究工作如下:(1)针对智能体在进行避障时集群内部之间保持安全距离的问题,本文根据Flocking算法作为集群的控制算法,引入算法中α-agent和γ-agent模块,构建势能场函数和虚拟结构点引导集群个体维持稳定的运动距离。(2)分析了集群在进行障碍物躲避时队形结构化差异问题,根据集群队形需要建立队形库,并提出避障评价准则指标用于量化集群避障过程中的收敛时间、路程代价、队形结构差异等参数。(3)设计了复杂障碍物环境下智能体集群避障模型,本文提出用于集群在不同障碍物环境下进行避障策略的自适应选择的避障因子ζ,并基于智能体在不同避障策略下的控制需要构建相应运动模型。(4)研究了如何高效进行集群Q-leraning训练,本文根据阈值交互Q-learning算法降低了智能体之间的通信量,实现集群的交互训练和智能体分布式自主决策。本文提出队形变换避障模型和智能体自主协同避障模型,构建了Flocking控制算法集群间的势场函数,并与Q-learning算法结合改进了智能体的运动模型。本文对改进的Q-Mutual算法在特定场景和随机障碍物环境下进行了大量学习训练,并对不同的训练算法进行了数据拟合分析。避障数据说明该算法在训练收敛速率方面提升了10.23%,证明了智能体在复杂障碍物环境下的避障稳定性和鲁棒性。最后通过四旋翼无人机模拟飞控仿真实验验证了避障模型在实际应用中的可用性和有效性。
其他文献
国家航天航空事业蓬勃发展和进步与空气动力学的研究息息相关,如何有效的进行气动建模一直是该领域专家们研究的重点问题,对于传统的基于物理模型的方法来说,由于存在一些复杂且难以求解的偏微分方程导致其计算效率无法满足实际需求。而且需要耗费很多资源。很难满足实际需求。因此有人开展了基于数据驱动的无模型方法研究,但同样存在着生成数据精度不高的问题。基于生成式对抗网络(GAN)模型在诸多领域中的良好表现,因此,
在现实生活中,存在着丰富多彩的复杂系统,例如航空运输系统,海上运输系统等。为了更好地研究种种复杂系统的特性,我们人为地将复杂系统抽象成便于理解记忆的网络结构,这就是复杂网络。在复杂网络的网络结构中,通常会存在一些对维持网络结构和功能的完整性都有着至关作用的节点。一旦这些重要节点受到攻击,网络将会遭到毁灭性的破坏。基于此,本文的工作将围绕着两点展开。一是如何对网络中的重要节点进行挖掘,二是如何对网络
随着数据时代的到来,互联网上产生了海量的文本信息。由于大量非结构化的文本因其结构松散,内容冗杂,无法直接提取关键内容,给数据管理以及分析和挖掘带来了挑战,因此,信息抽取作为从大规模海量文本中抽取结构化知识的技术受到广泛的关注。作为信息抽取的关键子任务,实体识别和关系抽取是知识图谱,智能客服等自然领域上游任务的基础工作,也是帮助法律、金融、医疗等垂直领域实现文本自动化的关键技术,其任务是从输入文本中
深度脉冲神经网络(Deep Spiking Neural Network,Deep SNN)充分结合被称为“新一代神经网络”的脉冲神经网络(SNN)自带的低功耗、生物可解释性、时序任务可处理性等一系列优点以及深度学习(Deep learning)具备的强大的层次特征表征能力,使得SNN已经在图像处理、语音识别等方面的研究更上了一个台阶。已成功应用到传统人工神经网络(ANN)的多尺度理论(Multi
在二维的计算机视觉,深度学习在许多领域都有了突破性的进展,且在许多方面已经优于传统的计算机视觉方法。点云配准是二维计算机视觉中图像匹配问题的三维推广,目前点云配准主要有两类算法,分别是基于全局分布状态直接求解的变换估计算法和基于局部特征提取的特征匹配算法,前者直接根据全局的分布状态估计点云对之间的变换参数,后者则基于几个步骤:关键点检测、特征描述提取、特征匹配与变换估计。本文将深度学习方法引入到三
随着通信技术与互联网的普及,人们能获取到的信息是之前难以想象的,数据已经变成生产要素在各行各业发挥着重要的作用。由于大部分数据都是未标注的,创建标签又需要花费巨大的人力。聚类方法通过数据内在属性的关联,将其分为若干个类别(簇),能对数据进行有效的分析,以提取有价值信息指导生产。受益于深度神经网络的提出与发展,将传统聚类结合深度学习以利用其特征提取能力被越来越多的研究者所关注。基于自动编码器的深度子
学位
学位
多目标优化问题通常具有两个或两个以上相互冲突的目标。进化多目标优化算法被广泛用于解决多目标优化问题。这种算法可以找到一组兼顾收敛性和分布性的解决方案,同时使得这组解决方案逼近整个Pareto front。然而,相比于整个Pareto最优解区域,决策者通常只对一小部分与其最相关的权衡解感兴趣。另外,为决策者提供大量的非支配解不但会增加其工作量,也会影响决策者的精准决策。因此,在现实问题中,多目标优化
在计算机视觉领域,理解人物目标是关键且具有挑战性的一个话题,而人体解析是实现这一目标的任务之一。人体解析是语义分割的子任务。人体解析是一个密集预测的任务,其目标是定位人体所在区域,并进一步将其划分成多个语义区域。近期,人体解析被广泛应用于其他分析人物目标的任务中,例如行人再识别、姿态估计、人体图片生成等。现有的基于深度学习的方法可以归纳总结为:基于特征增强、基于人体结构、基于多任务学习、基于生成对