基于深度强化学习的三维装箱问题的研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:wuzhiqing1984
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着国家经济和电商领域的全方位飞速发展,我国物流行业的业务需求量越来越多,物流总费用也是在持续增长。在物流打包过程中,软材料的打包成本与装箱表面积成正比,合理的装箱方案可以减小装箱表面积,降低物流成本,从而大大减少企业物流成本,提高企业竞争力。针对用户在线购买商品订单的软材料打包装箱过程,找到一种可以获得最小表面积的装箱方案能有效降低物流总费用,减小企业压力,因此对最小化表面积的三维装箱问题的深入研究非常具有经济价值。但是由于三维装箱问题的复杂性和装箱问题的非普适性,如何高效准确的求解包含各种约束条件以适应现实应用场景的三维装箱问题成为计算机研究领域的热点研究问题。针对上述问题,本文通过对最小化表面积的三维装箱问题进行建模,将问题分为优化装箱次序和求解放置位置与放置朝向两个部分,分别对其逐个击破,使用深度强化学习算法来优化装箱次序,基于构造启发式算法求解放置位置和朝向,最终使得所需装箱表面积最小。本文的研究内容具体分为以下几个方面:(1)对最小化表面积的三维装箱问题进行定义和问题建模。首先详细介绍了当前主流的装箱问题分类,按照分类对本文研究的问题进行明确定位。然后对最小化表面积的三维装箱问题进行明确定义和数学建模,介绍了问题的前提假设、目标优化函数和约束条件,并给出了必要的符号定义。(2)为最小化表面积的三维装箱问题提出了一种基于深度强化学习的混合算法,算法使用深度强化学习算法优化装箱次序问题,使用构造启发式算法求解物品的放置位置和放置朝向,最后得到装箱最小表面积。针对三维装箱的装箱次序问题,基于Actor-Critic强化学习框架进行训练,使得智能体在与环境的交互过程中,逐渐优化策略函数,并使用价值函数对策略函数进行评估,为了解决一般强化学习算法对高维状态空间和动作空间的局限性,运用深度神经网络近似拟合价值函数和策略函数,即为深度强化学习。针对物品在箱内的放置位置和放置朝向问题,基于最小表面积规则选择放置空间和朝向,并根据三空间分割规则对剩余空间进行重新分割。(3)对本文提出的混合算法进行对比实验,验证其优化的有效性和稳定性。本文选择了五种对比算法进行实验,计算装箱实例所需箱子的表面积大小来用于算法性能评估。通过对实验结果的分析表明,与其他对比算法相比,本文提出的算法可以获得更小的表面积且具有更高的稳定性。
其他文献
风格迁移是一种自动生成艺术图像的技术,可以将真实拍摄的照片转换成具有某种艺术风格特点的图像,并且保持大致的内容不变。在工业上的动画CG制作、动漫电影制作、趣味相机软件等领域,风格迁移技术凭借着自动化、高效率、高灵活度等特点已经有广泛的应用。但是风格迁移技术存在重大的限制,即每个算法模型只能对一种艺术风格进行迁移,这导致了模型的可复用率极低,在工业场景上的应用也受到不小的限制。而任意风格迁移方法的出
学位
红外成像系统因其具有适应性强、隐蔽性好等优点,并随着其快速的发展和功能的完善,被应用于很多领域。为了提高红外成像系统的性能,一般采用高于12bit的模数转换器,获取高动态范围图像,无法在传统低动态范围显示设备上正常显示,且红外图像有对比度低和信噪比低等问题,导致图像质量较差。红外高动态图像细节增强算法致力于解决上述问题,目前主流的研究方法是基于分层的思想,但是存在梯度反转和光晕等现象而影响图像质量
学位
红外辐射是频段位于可见光和太赫兹微波之间的一类电磁波,温度处于绝对零度以上的物体,都会产生具有一定强度的红外辐射。基于红外探测基本原理,红外成像能够完成全天时探测任务,因此红外探测在很多领域得到了广泛的研究与大规模的应用。由于红外光学镜头、焦平面阵列响应特性与制备工艺、模数信号处理电路等多方因素影响,得到的红外图像难以达到理想效果,存在非均匀性噪声大、信噪比低、边缘细节模糊等问题。随着基于大数据驱
学位
基因组变异与人类复杂疾病/性状具有密切联系,对其进行合理的分析对于疾病致病机理的研究具有重要意义。拷贝数变异(Copy number variation,CNV)是基因组变异的一种重要形式,在癌症基因组变异中占相当大的比重,其长度往往在几千碱基(KB)至几百万碱基(MB)之间甚至更长。众多研究表明,基因组CNV往往隐含了癌症驱动基因或抑制基因。在肿瘤样本中对CNV进行准确的检测,能够对癌症疾病的分
学位
作为对地观测的重要手段,高光谱遥感图像凭借其丰富的光谱信息和“图谱合一”的数据特性,受到了学者们的广泛关注,尤其是基于深度学习的高光谱目标检测技术,成为了当下的研究热点之一。但高光谱图像庞大的数据量和复杂的图像背景在一定程度上限制了基于深度学习的高光谱目标检测技术的发展与应用。其所面临的问题主要有:(1)高光谱遥感图像标注工序繁琐困难,难以为数据驱动的深度学习模型提供大规模有标注的训练样本,极大地
学位
半导体激光器(Laser Diode,LD)泵浦的全固态纳秒激光器已被广泛应用在科学研究、材料制造、生物医学以及军工等领域。随着激光技术的发展,人们对调Q激光器提出了新的要求,激光器朝着微型化、便携式方向发展。目前,一种LD端面泵浦的被动调Q激光器在微型化方向具有发展潜力,在实现小型化的同时,能够输出较高的单脉冲能量。这种被动调Q微型激光器输出激光脉冲的脉宽在纳秒量级,能量在毫焦量级。由于被动调Q
学位
近些年以来,随着计算机性能的不断提升和神经网络的不断改进,深度学习的研究取得了巨大的进步,俨然成为当前人工智能兴起的核心。在包括图像识别,文本生成,语音识别以及图数据分析等领域,深度学习都得到了广泛的应用和研究。然而最近的研究表明如此频繁使用的深度学习模型是不可靠的。图的深度学习模型在各种图分析任务中取得了惊人的表现,例如节点分类、链接预测和图聚类。而深度学习系统的不安全问题并没有能够在非欧数据领
学位
人脸活体检测技术能够解决由伪造人脸攻击带来的安全隐患问题,目前已经广泛应用在身份认证系统中。基于单帧图像的人脸活体检测算法无法利用动态信息和多模态信息,难以抵抗光照、场景和其他环境因素的影响,导致算法的泛化能力差。本文通过对多颜色空间下的真实人脸和伪造攻击进行差异性分析,设计了自适应颜色空间提取和多维度颜色空间特征融合的网络模型结构,实现对原始图像数据在颜色空间层面的信息拓展和多维度融合,提高了算
学位
近年来随着遥感技术的发展,遥感卫星在国防军事和民生经济领域发挥着越来越重要的作用,遥感图像目标检测任务也成为了图像处理领域的热点问题。由于遥感图像中存在背景复杂,目标尺度变换大等问题,相比于传统目标检测算法,基于深度学习的目标检测算法鲁棒性较好,检测精度更高,性能更优越。但是在实际应用中,深度学习算法难以部署到卫星等资源受限平台,检测速度也难以满足实时性的需求。针对上述问题,本文针对遥感图像目标检
学位
碳元素能形成无穷无尽、不同形式的同素异形体,这使得它在一众化学元素中显得尤为独特。自古以来,碳元素就以各种形式被广泛应用,在现代科学的加持下,人类更是有了能够随心所欲操纵晶格结构的能力,这更加拓宽了碳元素的应用场景。以金刚石为代表的超硬碳材料便是其中极具代表性的一类,所谓超硬材料,指的是维氏硬度大于40 GPa的材料,正如它们的名字所述,这些材料的共同特点就是硬度极高。这一特性使得该类材料在航空航
学位