水声通信在海洋资源勘探领域具有广泛的用途和良好的应用前景,因此水声通信领域的相关研究得到了越来越多的重视。水声通信资源分配作为水声通信研究领域重要的一部分成为一个备受学者们关注的研究方向。但水声通信资源分配问题面对许多困难,如水下声学信号衰减严重、能量供应受限等。因此,如何实现在随机性高,能量受限,信道时变的水下环境中合理的配置信道、功率和中继等资源进而有效提高水声通信的性能是本文研究的主要问题。本文首先分析了水声通信的水下声学特性和水声信道的主要影响因素,然后根据水声通信系统的结构分别构建了单用户通信系统模型和单源节点协作通信系统模型。最后针对水下信息难以获取的特点,提出将对抗性多臂赌博机(Multi-Armed Bandit,MAB)模型应用到含有未知信息的,信道时变的水声通信联合资源分配问题中。其次,在基于正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)的单用户通信系统联合资源分配问题中。针对时变水声信道的状态信息难以获取的特点,提出一种强化学习算法。考虑水下环境学习信息较少,引入了扩展学习信息来增加算法的学习信息。针对联合资源分配过程中信道和功率耦合的问题,提出了分部学习机制,加快算法的学习速度。最后,在单源节点协作通信系统中。针对加入了中继选择的水声通信联合资源分配问题,提出了一种专家指导的学习算法。该方法能够在完成中继策略选择的同时还能完成源节点上的联合资源分配,进而简化了协作通信系统中的联合中继资源分配问题。另外,还设计了一种信息反馈机制来加快算法的学习速度。