水声信道的背景噪声大、多径效应明显、传输时延大等特点,严重影响水声通信质量。自适应调制是提高水声通信质量的重要技术,在传统自适应调制系统中,由于水声信道的时延特性导致接收端经反馈信道反馈给发射端的信道状态信息过时,使发射端自适调制不准确,影响系统的性能。针对这一问题,本文研究在时延时变水声信道中,用强化学习技术优化传统自适应调制系统,提高通信传输质量。本文提出两种基于强化学习的水声通信自适应调制算法,提高自适应调制模式选择准确性,进而提高通信系统的传输性能。首先,对水声信道传输特性进行了详细研究,分析了影响水声通信传输质量的多种因素,建立了水声信道模型,并对信道进行了仿真。其次,在传统水声自适应调制系统的基础上引入强化学习技术,构建了基于强化学习的水声通信自适应调制系统,对比了强化学习中典型的几种算法。最后,利用Q-learning算法和SARSA算法提高自适应调制准确性。将自适应通信参数映射到强化学习算法,通过强化学习算法学习水声信道的变化,并进行行为策略的选择,根据信道的变化,进行智能决策,择优选出适应当前信道的最佳调制模式,以改善系统的传输误码和通信吞吐量。搭建仿真系统,将Q-learning算法和SARSA算法下的系统性能与固定调制方式和直接反馈情况下的系统性能进行对比分析。结果表明,经强化学习后的自适应调制系统误码率和吞吐量均优于固定调制方式和直接反馈方式,且Q-learning算法效果更优于SARSA算法。可见,强化学习算法在时变水声信道自适应调制中改善传输误码和吞吐量的问题上是有效可行的,能有效提高系统通信性能。