基于神经网络与强化学习的粒子群优化算法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:yang2shuo7
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
群体智能(Swarm Intelligence,SI)算法是一类代表性的启发式算法,它通过模拟自然界中真实生物种群的行为与其间的自组织交互而构造。作为一种典型的群体智能算法,粒子群优化(Particle Swarm Optimization,PSO)算法自从提出以来,就受到了学术界的广泛关注,并产生了众多变体算法。然而,目前的粒子群优化算法仍然存在一些问题,比如大多依赖于先验知识、搜索多样性不足,以及面对复杂优化问题时难以获得问题的全局最优解等。针对上述问题,本文在PSO中引入神经网络与强化学习来指导粒子搜索,提高优化表现。本文的主要研究内容如下:(1)粒子群优化算法中的参数大多依赖于人工经验(试错法)进行设置,难以获取合适的参数。针对此问题,本文提出一种基于神经网络指导的粒子群优化算法。根据每个粒子的表现对其参数进行调整,而非使种群中各粒子遵循一致的搜索行为。并利用强化学习对网络进行训练以更新网络参数。具体地,将每个粒子的历史经验,即其在一段时间内适应值的变化情况进行编码,以作为网络的输入。网络的输出为对输入粒子加速系数的调整动作,并根据下一时刻粒子适应值的变化情况获得反馈,基于反馈结果利用强化学习实现对网络的训练。通过网络的指导,自动地实现加速系数的有效调整。在CEC2013测试集全部28个函数上的仿真实验结果可以看出,提出的基于神经网络指导的粒子群优化算法在搜索性能上有较好的表现。(2)针对PSO中全局学习目标较为单一,导致学习多样性不足的问题。本文提出一种基于角色划分与神经网络的粒子群优化算法。首先根据适应值好坏对种群中的粒子进行角色划分,共分为leader、follower和rambler三种角色。接着各粒子会按照自身角色遵循不同的全局学习行为,即向不同的目标学习。进一步地,设计神经网络来对每个粒子进行参数调整,即为每种角色的粒子统一训练一个神经网络,该网络将适应值相近粒子的历史表现映射为其加速系数的调整动作。算法还设计角色转换方法实现粒子角色的重新划分,并提出候选粒子机制辅助粒子进行角色转换。最后在CEC2017测试集的全部30个函数上进行广泛的实验,实验结果展示提出的基于角色划分与神经网络的粒子群优化算法在求解精度上有较大的提升。(3)面向复杂动态优化问题,本文提出一种基于群体行为决策神经网络的粒子群优化算法,在保持种群多样性的同时,对种群中每一粒子的两个搜索动作进行合理决策,即定位学习目标与调整加速系数。具体地,为了在整个搜索过程保持种群多样性,首先设计子群划分方法,根据输入的每一粒子,确定其所在子群。选择能代表子群搜索特性且与现有子群中心远离的粒子,作为新的子群中心。通过选择合适的子群中心,实现子群的划分。不同子群中的粒子在各自能代表子群搜索特性的子群中心指导下搜索,呈现出多样的搜索特性,提升了种群多样性。本文设计的群体行为决策神经网络的输入为种群中每个粒子的当前位置,接着利用获取的子群中心设置网络隐藏层节点。为了调整粒子的加速系数,在网络输出层输出当前输入粒子的加速系数调整动作。最后,为了训练群体行为决策神经网络,引入强化学习对网络决策出的动作(包括定位学习目标和调整加速系数)进行奖励或惩罚,实现对隐藏层节点(代表子群中粒子的学习目标)和其与输出动作节点相连权值(控制粒子的加速系数)的有效调整,使算法能根据环境的反馈合理指导粒子的搜索动作,有效解决复杂的动态优化问题。通过在动态数据集MPB众多实例上的仿真实验可以看出,提出的基于群体行为决策神经网络的粒子群优化算法与其他主流动态优化方法相比,其表现具有明显的提升。
其他文献
随着社会的进步和科学技术的发展,在计算机视觉领域,我们采集到的图像数据相比于以前有两大明显特征:1.数据量变大;2.数据内蕴含的非线性信息变丰富。首先,数据量的变大使得基于图像集分类的方法成为可能。相比于传统的基于单张图片的分类方法,基于图像集的分类方法有更好的容错性,并且可以充分挖掘数据内部蕴含的相关信息。此外,由于传统的机器学习方法是基于欧氏空间理论的,因此难以有效挖掘数据中蕴含的非线性结构信
学位
随着大数据时代的到来,单视图数据已经不能满足人们的需要,多视图数据应运而生。多视图数据指从多个角度或者以不同的衡量标准对同一事物进行全面描述的数据,它由多个视图组成,每个视图代表一个角度或者衡量标准。与单视图相比,多视图数据包含了更丰富的语义与更有意义的信息,因此对多视图数据进行研究是很有必要的。聚类作为无监督学习中的一项基本方法,在挖掘数据的底层信息方面表现卓绝,这正是研究多视图数据所需要的方法
学位
受自然灾害和病虫害入侵等影响,林木内部容易出现腐朽和空洞。近年来探地雷达检测技术在树干无损检测领域兴起,其具有抗干扰能力强、检测速度快等优势,得到了研究者们的广泛关注。传统的探地雷达成像方法假设树干为圆形结构,获取半径宽时窗,用极坐标方式重建树干截面,容易导致缺陷定位偏差,检测准确度有限。本文结合信号处理、偏移算法和深度学习等研究了两种树干内部缺陷定位的成像方法,并且提出了针对活立木的多元协同检测
学位
天波超视距雷达(Over-the-Horizon Radar,OTHR)通过高频天波在电离层的折射弯曲摆脱了地球曲率对视距的限制,其自上而下的探测模式,可以实现对隐身战机、低空飞行器等的早期预警和连续观测。目前,天波超视距雷达主要是通过多基地联合布站的方式实现对目标的高精度定位,同时该方式也提高了系统的生存能力,这对预防和打击外来侵略目标具有重要的意义。但多基地联合布站的定位方式也导致其定位模型在
学位
多目标跟踪是数字图像处理和视觉领域的关键问题,包含检测识别和数据关联等多项任务,在社会生活、工业生产和军事等领域有广阔的应用前景。随着检测算法的发展,基于检测的多目标跟踪算法逐渐流行并由此产生不同的跟踪范式。其中一段式,即联合检测与嵌入的多目标跟踪范式,通过网络共享的方式将外观特征提取过程嵌入检测器中,较好的均衡了跟踪精度与跟踪效率。但该范式存在检测依赖和跟踪鲁棒性较差等问题,在线跟踪的实时性也难
学位
随着世界人口不断增长以及城市化进程发展,人员过分聚集导致的踩踏等事故频繁发生,为社会带来严重的安全隐患。人群计数旨在估计各个场景下的总人数并呈现其分布,其在安全管理和流量监控等领域起着重要的作用。尤其当下新冠肺炎肆虐全球,人群流量预警及管控变得至关重要,作为最基本的人群分析方法,人群计数在近年来得到了广泛研究。本文针对复杂场景中人群密度不均、遮挡严重以及背景误判等问题,分别从网络结构和监督机制两方
学位
随着视觉技术的蓬勃发展,人们从不同传感器获取的信息也越来越多样化。图像融合技术可以将特定场景下不同传感器得到的多种图像信息进行融合,得到包含互补的多源图像信息的融合结果,从而帮助人们更好的分析和处理复杂信息。其中红外和可见图像融合作为图像融合任务中的重要方向,将反映热辐射信息的红外图像和包含细节信息的可见光图像结合,得到突出红外目标以及具备更多细节背景信息的融合图像。早期的图像融合方法主要基于信号
学位
《绝妙好词》是宋朝遗民周密编纂的一部南宋断代词选,分七卷本和九卷本两种版本形式。本文首次选用在前七卷本的基础上增加了余集《续钞》和徐懋《又续钞》的九卷本《绝妙好词》为底本,并将《绝妙好词》置于南宋词坛的大环境中,通过与南宋三部词选《草堂诗余》《花庵词选》《阳春白雪》以及南宋三种词论《乐府指迷》《词源》《词旨》,在入选词人、词数等方面进行对比分析,对蕴含于南宋词坛的选词标准和主流词学理论之下的《绝妙
学位
城市书写是当代文学创作的重要组成部分。作为城市小说创作的代表性人物,邓一光自2009年移居深圳以来,创作重心逐渐从新革命历史小说转向城市小说。他在作品中讲述深圳故事,刻画“城中人”,为当代城市书写提供了个性化思考和崭新的表达方式,为彰显深圳城市文化的独特性进行了有益尝试。论文分为绪论、正文和结语三部分。绪论部分,整理归纳邓一光的小说创作及相关研究成果,梳理城市文学的发展脉络,明晰“城市书写”的概念
学位
在互联网及其应用广泛流行的时代,人们对于信息的需求量与日俱增,图像作为高信息量的载体成为信息传播的主要手段。在图像相关处理中,失真会不可避免地对图像造成影响,使其丢失信息,为使得图像质量有所保证,需要对图像质量进行评价。目前,深度学习应用于图像质量评价方法中,其取得的大量研究成果使之成为该领域的主要研究工具。然而,大量的手工标记数据是深度学习的必要条件,这既昂贵又不实用。现有的图像质量评价数据库并
学位