基于深度强化学习的作业车间调度方法研究

被引量 : 0次 | 上传用户:ww20080808
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能技术的成熟推动了制造业向自动化、智能化的方向挺进。车间调度问题作为制造业的核心技术之一,已然受到广大学者的密切关注。作业车间调度(JSP)作为其中一种典型的调度问题,拥有丰富的研究成果。其中,基于调度规则的算法实施简单且算法复杂度较低,在实际生产中应用十分广泛。然而研究表明,调度规则的性能在不同生产状态下具有较大的差异性,单一调度规则无法适应所有生产环境。因此,设计能够合理选择或组合调度规则的方法对于车间调度具有重要的研究价值。与此同时,深度学习和强化学习技术的发展使基于自主感知环境的智能调度成为研究趋势。本文主要研究了深度强化学习算法在作业车间调度问题中的应用。主要研究内容有:首先,本文设计了一种基于Sarsa的深度强化学习算法(Deep-Sarsa)。该算法使用神经网络作为函数估计器,把车间环境中的信息抽象为网络的输入,调度规则作为网络的输出,利用Sarsa算法进行状态-行为对值的更新。并设计了一个具备自适应能力和自竞争能力的激励函数。据我们所知,这是首次以Sarsa算法对状态-行为对值进行更新,将深度强化学习方法应用于JSP问题的研究。应用标准算例进行测试,并与强化遗传算法、单一调度规则进行对比,结果表明所提算法在求解质量方面具有明显的优势。然后以工件随机到达为动态事件,对作业车间动态调度问题进行研究。前文所提Deep-Sarsa算法中对于状态、行为、激励函数的定义均保持不变,这也表现了所提方法在不同调度问题上的适用性较强,即能够解决作业车间静态调度问题和特定条件下的动态调度问题。通过设计不同规模的算例进行算法测试,并与经典的Deep Q-learning(DQN)算法、单一调度规则对比,验证了所提算法在该动态调度问题上的优势。接着,以更为复杂的柔性作业车间为研究对象,以机器故障为动态事件,根据故障属性进行状态的划分,并设计了一种新颖的双层行为组合,包含第一层选择工件的规则和第二层选择机器的规则。该模型能够实现不同程度机器故障下的最优重调度策略选择。最后,给出了全文的工作总结和工作展望。
其他文献
使用STM32单片机和DDS芯片AD9833相结合的方法,为工业现场设备测试设计了一个双通道输出且频率、幅值、电压信号、电流信号均可调节的基准信号源.以STM32作为控制核心,控制AD9833可输出频率5 Hz~40 kHz可调的高幅值正弦波、方波、三角波、锯齿波波形;以STM自带的DAC模块得到4~20 mV电压信号、4~20 mA电流信号输出.对PLC与过程仪表、电动阀门等设备进行调试和检测,
期刊
文章在原有三相两电平的逆变器结构的直流母线上增加了两个开关管,使得共模电压在零矢量作用时得到了消减。同时在Matlab/Simulink中搭建三相永磁同步电机(PMSM)矢量控制的仿真模型,基于此模型研究了无零序矢量脉宽控制(NZPWM)减少共模电压幅值的控制策略。通过不改变传统空间矢量脉宽调制(SVM)策略,构建了一种逆变器的拓扑结构使得零序矢量作用时无共模电压产生。结合理论与仿真分析,并与SV
期刊
报纸
<正>安全是民航业的生命线。民航安全,或者说民用航空器飞行安全,关乎国家安全和社会稳定,关乎人民生命与财产安全,关乎民航快速发展。作为民航高质量发展的基本特征和支撑一切成绩及目标的基石,民航安全的极端重要性已上升到了新高度。截至2019年底,运输航空实现连续安全飞行112个月、8068万小时,运送旅客42亿人次,
期刊
充分发挥可调控资源群体的调控特性,可以极大提升地区电网动态调节能力。为此,文中提出一种面向可调控资源群体的协同优化调度方法,并利用多智能体深度强化学习技术求解多群体复杂协同问题。首先对考虑多可调控资源群体的地区电网优化调度问题进行建模,设定电网优化目标及系统安全运行约束等条件;其次,阐述多智能体深度确定性策略梯度算法基本原理;然后,利用策略梯度更新算法,进行“集中训练-分散执行”寻求可调控资源群体
期刊
报纸
深度强化学习在智能制造领域具有广泛的应用前景。文章概述了相关文献的综述,总结了深度强化学习在智能制造领域的几个主要应用方向,如自动化控制、智能优化调度、故障预测与维修、品质控制与质量预测以及智能物流和供应链管理。在这些领域,深度强化学习利用深度学习网络和强化学习算法,能够实现更高效、更精准、更智能化的制造过程控制和管理。同时,探讨了深度强化学习在智能制造中面临的挑战和未来发展方向。这些研究对推动智
期刊
汽车的发展是现代工业技术最重大的成就之一,汽车在满足人类生产、生活流动性等需求上做出了重大贡献,它促使了工业社会的进步。然而,汽车在全世界大规模的应用已经产生并持续引发环境污染、全球变暖以及石油资源迅速减少等问题,这些方面逐渐成为人们关注的焦点,新能源汽车的研发和应用已成为世界各主要工业国家针对环境和能源问题推出的解决方案之一。电机控制器、电池管理系统和整车控制器是纯电动汽车的三大主要控制系统。电
学位
批(处理机)调度问题从半导体测试工艺中启发而来,是生产调度的热门研究方向之一。不同于传统机器,批处理机只需要满足容量约束,就可以同时加工多个工件。当前,传统方法在求解批调度问题时存在一定的局限性,而深度强化学习在解决各类复杂的组合优化问题中展现出优异的应用性和强大的泛化性。因此,本文从两类单机批调度问题出发,研究了深度强化学习求解批调度问题的有效性。论文的主要工作如下:第一,研究了考虑动态到达的差
学位
随着我国双碳目标的确立,新型电力系统建设如火如荼的开展,以及大数据技术、人工智能、物联网的应用范围扩展,人工智能在电网调度运行控制中的角色也越发重要,对其进行研究探讨,可对欠发达地区电网调度业务提供参考和借鉴,以提高电网调度工作的智能化水平。文章对人工智能在电网调度中负荷预测、故障辨识和智能人机交互等应用进行了探讨。人工智能对于电网调度智能化既是机遇也是挑战,调度运行人员应积极学习以应变求变。
期刊