水下传感器网络在海洋信息获取以及资源探索与开发中起到重要作用,逐步成为工业界和学术界的研究热点。水下传感器网络采用声波进行数据传输,而声波在水下环境的传播速度慢,导致水声信道具有较大的传输延时。此外,水下传感器网络节点的维护和能量补给十分困难。因此,为水下传感器网络设计低时延、高能效的路由算法极具挑战性。机会路由是近年来被广泛研究的一种新型路由范式,可以有效地减少端到端时延和网络能耗。现有的机会路由算法通常采用贪婪的策略进行路由选择,没有考虑长期的路由回报。比如,当前的发送节点会选择剩余能量最多或离目的地最近的邻居节点作为其优先级最高的下一跳候选节点,但是,这样的选择策略属于局部的优选策略,对于整条路径而言则未必合理。为了有效解决水下传感器网络中的高延时和低能效问题,并进一步优化机会路由策略,本文提出了一种基于强化学习的水下传感器网络机会路由协议。通过使用强化学习技术,所提出的路由协议在进行决策时会考虑长期的累积回报,因此可以做出全局最优的路由选择。首先,为了减少延时和能耗,本文在回报函数设计时定义了两个代价函数:能量代价函数（energy-related cost）和深度代价函数（depth-related cost）,分别考虑了候选转发节点的剩余能量信息和深度信息。然后根据所设计的回报函数计算长期的累积回报（Q-value）,并利用Q-value划分候选转发节点的优先级。其次,为了协调候选节点的数据包转发,本文提出了一种新型持有时间（holding time）协调机制。该机制根据Q-learning技术优化的优先级次序计算候选节点的holding time,调度候选节点的转发操作。通过使用所提出的传输协调机制,候选节点可以根据其优先级次序来执行数据包的转发操作,进而在保证数据传输可靠性的基础上,减少不必要的传输。第三,本文还提出了一种新型多径抑制机制,减少数据包的多径传输,同时保证较高的数据包投递率,改善网络能效。为了进一步分析算法性能,本文首先对于所提出协议的各项性能指标进行了数学分析;然后通过推导基本运算次数的数学期望,分析了协议的计算复杂度;最后通过大量的仿真实验对协议进行了性能评估,实验结果表明本文提出的协议可以有效降低数据包传输的端到端时延、延长网络的生命周期并保证较高的数据包投递率。