港口是综合交通运输网络中最重要的水陆交通枢纽,是物流供应链中最大的集货中心,随着货物集装箱化的加深,码头集装箱吞吐量逐渐增多,集装箱堆场的堆存压力日益加重,堆场资源变得紧张。为提高客户服务质量,提升港口的综合竞争力,优化集装箱码头内的调度管理至关重要。而堆场翻箱率是集装箱码头调度管理的重要指标之一,提箱过程中的翻箱落位优化可有效降低二次及二次以上翻箱率。本文针对集装箱堆场的翻箱问题,首先从进口箱翻箱、出口箱翻箱和移箱时翻箱三种情况对堆场翻箱问题进行分类分析,然后从内部因素、外部因素与其他不可抗因素等方向分析翻箱产生原因,提出从堆场管理方面降低堆场翻箱量的方法,最后确定本文的研究对象为进口箱,研究进口箱的翻箱落位优选以降低堆场翻箱率。堆场贝位翻箱问题以最小化贝位的二次及二次以上翻箱率为优化目标,贝位集装箱堆存状态和客户提箱顺序已知为前提,据此分析模型基本假设条件,对模型变量进行描述,构建集装箱堆场进口箱翻箱落位优选问题的Markov决策过程模型。为了求解翻箱落位优选模型,设计了ε-greedy Q学习算法。根据堆场各因素对翻箱率影响程度,选择关键因素对Q学习算法的多维状态空间进行表述,实时反映系统动态。确定动作集合和奖惩制度,某一翻箱作业完成后,通过立即回报反馈该动作的优劣。通过理论分析确定算法学习因子、折扣因子和探索因子随学习幕数的变化趋势,设计动作的探索策略,平衡算法的收敛性和整体最优性。最后设计不同规模贝位情况的算例,验证ε-greedy Q学习算法求解进口箱翻箱落位优选问题的性能,实验结果表明:1)Q学习算法求解结果相比Kim翻箱量估计公式,优化率在40%以上;2)相比参考算法OH算法和IH算法,Q学习算法在求解大规模问题时,二次翻箱量平均优化率分别在50%和10%以上;3)不同规模贝位单个算例的Q学习算法求解结果相对OH、IH算法改进稳定,100个算例中最多有一个算例求解结果劣于OH;最多有四个算例劣于IH。