核物理技术推动了当代国防和能源技术的快速发展,但核废料的不当处理导致放射性元素泄露而造成环境污染、癌症诱发等问题。质子直线加速器被视为核废料处理、癌症治疗的现代化新方式,然而质子直线加速器在束流加速过程中容易受周围环境影响而发生束流偏移,这导致被加速的束流产生粒子损失而影响物理实验的精确性。因此,有效的束流偏移校准是一个非常重要的科学问题。目前大多数偏移校准方法都基于物理推导和数值计算,但在制造精度、安装精度和多磁铁之间复杂磁场变化而互相影响的复杂环境中,很难直接通过物理推导得到一个确定函数来表达束流所发生的偏移与校准磁铁的电流值之间的关系。所以使用新型的人工智能的方法来解决束流偏移校准成为了一种新的尝试。本文利用当前热门的深度强化学习技术来研究质子直线加速器中等能量传输线上的束流偏移校准问题,从原理上分析了深度强化学习在束流偏移校准中的可行性及优势,提出了基于深度确定性策略、近端策略优化和异步优势演员-评论家3种深度强化学习方法的质子束流偏移校准模型。在此基础上,进一步研究了分段奖励函数、反正切奖励函数等6种奖励函数在束流偏移校准中的应用。实验结果表明,束流经过偏移校准后在X和Y方向上的平均偏移值降低到0.1515mm和0.1526mm,其结果优于传统基于物理方法的校准结果(x=0.434mm,y=0.158mm)。因此,本文所研究的基于深度强化学习的束流偏移校准方法具有较大的研究潜力和应用价值。