随着电子商务等的高速发展以及物流产业的蓬勃发展,快递规模的急剧增长。货物装箱是物流过程中一个必不可少的环节,如何减少所需包装耗材量从而降低成本成了广泛关注的问题。在实际的物流场景中,仅凭员工经验不可避免会造成浪费,三维装箱问题的实际效益越来越凸显。其中多箱型三维装箱问题是抽象于实际装箱场景的一种三维装箱问题。对于多箱型三维装箱问题,由于打包步骤之间的相互影响,问题较为复杂,目前解决方案多为启发式算法,并没有针对性的基于学习的解决方案。所以如何通过基于学习的方法有效解决多箱型三维装箱问题是一个亟待研究的课题。针对上述问题,本文通过对多箱型三维装箱问题进行分析和建模,提出了基于强化学习的多箱型三维装箱算法。算法基于Transformer模型结合条件查询机制和注意力机制构建神经网络模型,然后使用强化学习算法训练对网络进行优化,从而使得装箱质量最优。首先,本文定义多箱型三维装箱问题。先进行问题表述并从数学角度给出具体约束,然后将问题建模成马尔可夫决策过程,定义了多箱型三维装箱问题状态空间和动作空间,并针对问题设计了奖励信号。然后,本文针对多箱型三维装箱问题设计并实现了基于强化学习的三维装箱算法。本文首先构建了一个基于Transformer的注意查询神经网络模型,然后通过强化学习的方法进行训练优化网络参数来得到装箱方案最优解。本文构建的注意查询网络是对传统的Transformer模型进行了改造,注意编码器基于环境窗口观测到的局部信息以及隐藏层缓存中的局部隐藏层状态进行注意力编码。查询解码器则通过查询机制串联各个子动作。本文基于提出的注意查询网络,搭配策略梯度搭建智能体得到装箱算法LAQPG。为减少方差避免局部最优又提出基于A2C和注意查询网络的装箱算法LAQAC。为增加探索又在LAQAC的基础上增加熵正则项得到装箱算法LAQEAC。最后,对本文提出的多箱型三维装箱算法进行对比实验,验证有效性和稳定性,对训练情况进行了比较。本文指定装箱质量指标来衡量算法性能,基于三种不同货物规模的实例使用了五个不同的算法与本文提出的装箱算法进行实验对比。实验结果表明,本文提出的基于强化学习的多箱型三维装箱算法,相比其余五个对比算法装箱性能上有一定的提升,证明了算法是有效稳定的,且使用A2C和熵正则项有助于算法的装箱效果提升。