基于深度强化学习的汽车涂装生产排序研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:sxx1203
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,汽车制造厂在同一混合型生产线上生产多种车型和颜色的汽车,以增加生产灵活性,降低运营成本。从车身车间离开的产品以总装需求顺序进入涂装车间进行生产,然而涂装车间内部存在重排序调度环节,同时要求离开涂装车间的产品序列与总装需求订单序列一致。因此,混流生产模式下面向涂装-总装车间系统的排序调度问题作为汽车生产系统中一个极为重要的调度决策问题,受到了实践者和研究者的广泛关注。一方面,过去学者们常将涂装车间内部的重排序调度问题和涂装完成产品进入总装车间的序列一致性排序调度问题作为单独的两个优化问题分别研究,而忽略了两车间的联动性。另一方面,混流生产的产品排序调度问题是一类复杂的难以在多项式时间内求解的问题,以往研究多针对小规模算例提出算法并进行验证,但当实际大规模问题涉及多颜色、多车型、多订单的排序调度时,以往精确算法、启发式算法和元启发式算法均无法快速给出优化调度方案。本研究从实践中出发,分析实际涂装生产流程中排序调度需要考虑的多方面要素,结合复杂的生产约束、缓存区结构和生产线布局,构建出面向涂装-总装车间的生产排序调度问题的管理与优化方法,采用深度强化学习与启发式算法联合的混合算法可以大大缩短实际调度问题的求解时间,且精度高于传统算法,为汽车制造厂涂装车间的生产计划制定与产品生产序列的控制提供快速且有效的决策支持。本研究的主要内容如下:(1)涂装车间排序调度分析与模型架构研究分析和探讨涂装车间的生产流程和生产排序调度管理中所需考虑的要素,基于实际生产流程和关键生产度量指标,结合混合流水车间调度问题模型,明确本研究整体的调度目标、决策和模型框架。从运营成本和排序效果两个角度提出排序调度度量指标,建立混流生产模式下的带有限缓存区的三阶段混合流水车间调度模型,提出基于规则的启发式算法,并针对一个实际的调度场景进行求解,验证模型和算法的有效性。(2)基于深度强化学习的排序调度模型与算法基于所提出的三阶段混合流水车间调度框架,针对第二阶段并行喷涂生产线上的排序调度问题进行深入研究。从运营成本的角度出发,考虑涂装车间中发生在换色缓存区内的颜色批处理重排序问题,建立以最小化颜色切换成本为目标的带有限缓存区的单机流水车间调度模型。提出一个CH模型降低决策维度,解决解空间维度爆炸的问题,进而提出基于深度强化学习的深度Q网络算法,解决颜色批处理重排序问题,并与传统启发式算法进行对比,验证了本研究所提出的模型和算法优于传统启发式算法,可以有效且快速的求解优化问题。(3)基于多目标强化学习的多目标调度模型与算法基于研究(2)的单目标调度优化问题,进行多目标优化调度问题的扩展研究。从运营成本和排序效果的角度出发,考虑第二阶段中发生在换色缓存区内的颜色批处理重排序问题和颜色批处理后订单与计划作业序列的差异问题,建立以最小化颜色切换成本和最小化订单完成非一致性为优化目标的带有限缓存区的单机流水车间多目标调度模型。提出了基于多目标强化学习的多目标深度Q网络优化算法,在不需要知道先验目标偏好的情况下给出帕利托解集,并与传统启发式算法和基于多目标强化学习的包络Q-学习算法进行对比,验证了本研究所提出的模型和算法可以有效且快速求解多目标调度优化问题,算法对目标偏好的泛化能力强,当实际应用中实时给予某一目标偏好时,算法可以快速获得调度方案。(4)面向涂装-总装系统的多目标排序调度方法的应用在研究(3)中提出的多目标优化算法基础上,深化研究(1)提出的调度问题框架,将涂装车间排序调度问题拓展为面向涂装-总装生产系统的多目标排序调度问题。从运营成本和排序效果的角度出发,将整个调度系统的总颜色切换成本最小化和总订单完成非一致性最小化为两个优化目标,再次梳理混流生产模式下的带有限缓存区的三阶段混合流水车间调度模型,提出了启发式算法与基于多目标强化学习的多目标深度Q网络算法联合的混合算法。最终,整合优化面向涂装-总装的混合流水车间的多目标调度方案,以实现降低运营成本和高效生产的目标,为汽车制造厂商提供科学的调度决策依据。
其他文献
半导体光催化技术被认为是在应对能源与环境问题的策略中,一种具有良好潜力的技术。TiO2纳米光催化材料由于具备高效无毒、稳定性好、成本低廉等优势,一直受到研究者的广泛关注。然而受制于较宽的带隙和较低的光生载流子分离效率,其应用受到了诸多限制。宏观上表现为光催化剂对可见光吸收能力差,以及光催化效率低下,这使得其应用受到了较大局限。本论文基于对相关文献的充分调研,以氧化镍/二氧化钛纳米片(Ni-TNSs
公共建筑空调系统的优化运行控制是保证建筑环境热舒适性、降低运行能耗和实现建筑节能减排的重要技术措施,一直是国内外研究的难点和热点问题,并逐渐被广泛用于实际工程之中。同时,空调环境热舒适性和人体热感觉也是建筑领域国际上众多机构长期研究的重点,其成果为诸多标准规范的制定和完善提供了科学依据。但从总体上看,空调系统优化运行控制与建筑环境热舒适性、特别是与人体实时热感觉在研究和应用上存在着明显的脱节问题。
微生物燃料电池(microbial fuel cell,MFC)能利用产电菌将有机物中的化学能直接转换成电能,近年来受到广泛关注。作为单室MFC的一种,沉积型微生物燃料电池(sediment microbial fuel cell,SMFC)具有结构简单、维护方便和成本低等优势,具有很大的应用潜力。但SMFC存在底泥中有机物利用率低和产电不易储存这两方面的问题,限制了该技术的实际应用。针对SMFC
胰腺炎是诱发胰腺导管腺癌(Pancreatic ductal adenocarcinoma,PDAC)的重要危险因素。已有研究报道,腺泡-导管化生(Acinar-to-ductal metaplasia,ADM)是腺泡细胞应对胰腺炎损伤的第一反应,受炎症或致癌信号长期刺激,ADM病变会引起胰腺上皮内瘤变(Pancreatic intraepithelial neoplasias,PanINs),并
工业生产过程中普遍存在着时滞现象,例如能量传递、物料传输、信号通讯等。如果控制设计不对时滞加以处理,会影响闭环系统的控制性能,甚至导致系统不稳定。此外,实际生产过程中不可避免地会遇到负载干扰,如何有效地抑制或消除负载干扰是提升系统控制性能的重要问题。另外,在实际系统运行中经常存在因执行器饱和而影响控制性能的问题,处理不当会引起闭环控制系统的不稳定性。尽管现有文献给出一些关于时滞系统的抗扰控制和反饱
拓扑优化,可以通过“自由”优化材料的布局设计出新颖的甚至颠覆性的创新构型,已经成为结构创新设计的重要工具。增材制造通过逐层的方式实现复杂结构的制造,是一种先进的制造技术。将拓扑优化与增材制造结合,发展面向增材制造的创新设计方法,已经成为研究热点。其中优质构型和可制造性是发展设计方法关注的焦点。为便于制造,拓扑优化结果往往需要具有特定的几何特征;另一方面,一些具有特定几何特征的结构具有非常优异的力学
随着社会经济的发展和城市基础设施建设的进步,废弃混凝土等建筑垃圾排放量逐年增多,造成了巨大的经济损失和环境污染。氧化石墨烯(Graphene Oxide,GO)等纳米材料可以在纳观尺度上改善水泥基材料的性能,利用此特点改性再生混凝土,实现混凝土垃圾的重复使用循环再生,有着重要的学术价值和现实意义。现阶段,使用GO对再生混凝土进行改性强化,在理论基础与应用技术层面还存在着诸多不足。基于此,本文从改性
《3~6儿童学习与发展指南》(下文简称《指南》)中提出:"要珍视游戏和生活的独特价值。"这就要求我们教育工作者在教育过程中,应将多元化游戏融入幼儿园的教育活动,通过游戏促进幼儿语言能力的提高、常规意识的增强、合作意识的发展、协调能力发展等。一、手指游戏在教学活动中运用的意义(一)有利于稳定小班幼儿入园情绪大部分幼儿初次长时间离开父母,进入幼儿园陌生的集体环境中,会出现情绪极度不稳定,
期刊
萘-1,8:4,5-双(二甲酰亚胺)通常又被称作萘二酰亚胺(NDI),作为一种常见的发色团,广泛应用于半导体器件、分子探针、超分子组装体和光合作用模拟等领域。然而,关于其三重态性质的研究相对较少。由于该发色团的吸收在短波长区域并且三重态寿命较短,因而不适于在光动力治疗(PDT)、光催化和三重态-三重态湮灭(TTA)上转换等领域中的应用。本论文旨在制备含NDI基团的新型三重态光敏剂,通过在其共轭中心
β-胡萝卜素是重要的抗氧化剂和天然色素,广泛用于保健品、食品染色、饲料添加剂市场,β-胡萝卜素主要由9-顺式和全反式异构体组成,9-顺式/全反式比例越高,抗氧化性和抗癌活性越高,相比于化学合成(仅含有全反式结构),天然产品(含有9-顺式/全反式结构)更受欢迎。盐生杜氏藻(Dunaliella salina,也称盐藻)可大量积累β-胡萝卜素,其中高光强是促进β-胡萝卜素积累的最主要胁迫方式,但目前缺