随着自主式水下机器人（Autonomous Underwater Vehicle,AUV）智能化的发展,利用人工智能算法解决水下机器人的目标跟踪问题得到了广泛的应用。强化学习是一种重要的人工智能算法,能够自主学习决策网络,摆脱了传统控制算法对环境模型的高依赖性。但是强化学习训练过程中时常会出现稀疏奖励和样本高相关性的问题。其中稀疏奖励会导致控制网络在训练过程中收敛较慢,最终无法得到最优控制网络,样本相关性高则会造成网络局部收敛。本文针对上述问题,开展了强化学习跟踪算法的研究,主要工作有如下方面:（1）首先分析了AUV的系统结构,建立了固定坐标系和运动坐标系下AUV的空间运动方程,通过平衡运动模型的真实性和复杂性,将六自由度运动方程简化为水平面运动方程。同时为了对比控制算法在不同环境中的跟踪性能,本文设计了三种场景,其中场景1为理想环境,场景2和3分别为增加了随机噪声以及障碍物的环境。（2）其次为了避免训练时发生稀疏奖励,本文基于模仿学习算法的思想,在近端策略优化（Proximal Policy Optimization,PPO）强化学习算法中引入生成对抗网络结构（Generative Adversarial Nets,GANs）,提出了生成对抗强化学习（Generative Adversarial Reinforcement Learning,GAIL）算法。该算法通过学习专家轨迹保证学习过程的收敛性以及提高学习效率,仿真结果表明GAIL算法的收敛性能较好。（3）然后为了避免连续样本之间的高相关性导致网络局部收敛问题,本文创建了多个相同的水下环境,通过并行训练每个环境中的AUV降低了前后样本之间的高相关性,并解决了单一AUV探索能力不足的问题。仿真结果可以看出并行训练提升了AUV的跟踪效果。（4）最后将多智能体并行训练方法与GAIL算法相融合提出了多智能体生成对抗强化学习（Multi-Agent Generative Adversarial Reinforcement Learning,MAG）跟踪算法。在水下环境模型中比较MAG算法与主流强化学习控制算法的跟踪性能,仿真结果表明MAG算法控制的AUV在快速性和跟踪精度上均优于对比算法。