基于多任务强化学习的堆垛机调度与库位推荐

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:daxia3301
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着电子商务等行业的快速发展,物流商品的订单呈现井喷式的增长,相应的仓储问题也愈发复杂化。在物流供应链中,仓储系统管理着货物的进出以及堆垛机等设备的调度,这使得其重要性更加凸显。而调度效率对整体系统发挥着巨大作用,智能化的系统也可以更好地应对各种调度场景,以降低人力、物力成本,因此许多学者对此进行了深入的研究。传统调度方法在面对规模较大的问题时,光处理状态空间就耗费了大量算力,进而导致了性能的受限和收益的低下。与此同时,仓储中库位的优化与机械的调度运行联系密切,但多数工作在处理调度问题时未能考虑到库位优化的问题。传统的库位分配方式基于人工分拣或就近安排的原则,存在着有效利用率和搬运效率低下等问题,而合理的库位安排可以提高仓储的效率和可靠性,最终降低企业成本。因此,本文针对上述已有的问题展开了相关工作与研究。首先,构建仓储问题的领域和环境模型。仓储系统包含了堆垛机、出入库基础、车辆移动通道、货架库位等各类信息,因此对问题的建模主要围绕以上基本设定。本文采用规划定义语言RDDL对仓储问题进行领域构建,并使用概率规划器进行求解;采用Open AI工具库进行环境的构建,使得强化学习算法能交互于该环境。提出一种基于深度强化学习的堆垛机调度方法。该方法将调度问题视作为序列决策问题,并通过智能体与环境的持续交互以进行自我学习,同时通过引入近端策略优化算法(Proximal Policy Optimization,PPO)的裁剪比率思想,避免了策略在训练前后出现差异过大的情况。通过与其他方法进行实验对比和分析,表明本文方法改善了实验效果,验证了其有效性。提出一种基于多任务学习的调度、库位推荐联合算法。该方法在Actor-Critic架构的调度网络基础上,构建了用于库位推荐功能的Actor网络,并通过与Critic网络进行交互反馈从而参与了整体网络的训练,最终实现对多任务情景下的问题求解。实验结果表明,所提方法能够有效地应对堆垛机调度和库位优化的应用场景,验证了其可行性。
其他文献
<正>刘金星教授系山东中医药大学附属医院妇科主任医师、山东名中医药专家、全国优秀中医临床人才、博士研究生导师、山东省高层次优秀中医临床人才学科带头人,投身妇科教学与临床工作数十载,精于辨证,擅长创新,临床经验丰厚,临床疗效满意,且善于在辨病辨证的基础上选用药对来治疗妇科各类疾病。
<正>人力资源是组织中最富有生产力的关键资源,也是企业高质量运营的重要支撑力量。科学合理的人力资源配置不仅能盘活组织内部资源,提高组织生产率和运营绩效,而且有助于实现企业战略目标。囿于体制机制等历史性因素,部分集装箱码头企业的人力资源管理体系未能实现从传统僵化向现代高效转变,尤其是人力资源配置延续以往粗放式管理模式,无法达到人尽其才、按才用人、因事设岗的人力资源管理最优目标。本文聚焦Z集装箱码头人
期刊
为了达到在保证船舶按计划完成装卸作业的前提下尽量降低港口作业成本的目的,利用集装箱岸桥可在相邻船舶之间移位作业的特点,以港口方总成本最低为目标,以船舶靠泊位置、开启岸桥与核算岸桥数量等为决策变量,构建了基于岸桥共享策略的泊位与岸桥协同调度优化模型。针对模型的特点,设计了以遗传算法为框架,在其内部嵌套靠泊位置优化模块和岸桥共享优化模块的算法进行求解。最后,采用该方法以大连港集装箱码头实际作业的优化调
短信认证是在上网前需要输入手机号和验证码认证,并将手机号作为用户名,可以满足实名制需求。同时,基于网络安全考虑,要求对访客无线上网实行网络隔离。
期刊
极限思想在数学学习过程中具有至关重要的作用,本文通过总结归纳现阶段几种常见的求极限方法,具体说明求极限方法在数学分析中的应用.
伴随素质教育理念的落实,学生核心素养的培养现已成为教育领域所关注的热点话题.而科学态度与责任感作为高中物理学科核心素养的重要内容,要求教师在教学活动中需加以重视.本文首先针对科学态度与责任内涵加以阐述,其次针对高中物理研究性学习中科学态度与责任感的培养策略提出几点建议,望借此可切实推动学生物理核心素养的形成.
项目化学习是一种新型学习形态。山西省实验小学将项目化学习育人价值的挖掘作为重要靶向,经多年实践探索,依据驱动方式的不同提炼出四种项目化学习模式:问题驱动式学科微项目化学习模式、主题驱动式项目化学习模式、兴趣驱动式项目化学习模式及场域驱动式项目化学习模式。
小学科学课程是以培养科学素养为宗旨的科学启蒙课程,是学生学习科学知识的启蒙课程。小学科学的学科特点决定了教师不能采用传统的、简单的知识传授,学生被动接受知识的模式进行教学。在小学科学教学中开展项目化学习,以项目为主线、教师为主导、学生为主体,让学生在自身的知识、能力等基础上,自主发现、研究相关问题,能够充分调动学生学习的主动性、创造性,促使学生更好地学习科学知识。为了保证项目学习过程中学生思维的积
<正>对话式教学最早起源于古希腊,即“苏格拉底方法”,旨在展开教学活动时,通过讨论、回答甚至辩论的方式揭露学生认知中存在的矛盾,逐步引导学生思维,使之得出正确的学习结论。数学是一门应用性较强、需要较好数学思维能力的学科。在小学阶段,小学数学教育以兴趣导引和思路培养为主。如何在小学阶段利用有效对话激发学生的学习兴趣已成为广大数学教育者的共同研讨课题。一、小学数学对话式教学现状小学数学对话式教学在当代
期刊