随着智能终端设备的快速普及和高清视频等多媒体应用的迅猛发展,移动数据流量呈现爆发式增长,这导致对更高的数据传输速率的需求也在不断的增加,然而传统的蜂窝网络已无法满足海量数据传输的需求,因此如何提升受限频谱资源的效率以满足移动用户的服务请求已成为5G蜂窝网络中的关键性问题。由于设备间直接（Device-to-Device,D2D）通信可以有效的提升受限频谱资源的利用率,被视为5G蜂窝网络的关键技术之一。然而,D2D通信网络环境日益复杂多变且具有高动态的特征,使得基于数学建模的传统优化方法难以自适应当前的网络环境,无法实现高效、灵活的资源分配。因此设计自适应于动态D2D网络环境的资源分配方案已经成为了非常重要的研究课题。本文将分别针对动态变化的单蜂窝和超密集网络（Ultra-Dense Networks,UDNs）两个场景来研究D2D通信中的资源管理问题,并提出一种智能的解决方案—引入无模型的强化学习算法。论文的主要研究工作和创新点如下:（一）在单蜂窝D2D通信场景中,研究了基于多智能体强化学习算法的联合上下行频谱资源的子载波分配和功率分配方案。为了进一步提升受限频谱的使用效率,本文允许D2D用户联合复用蜂窝用户的上行和下行子载波资源,并在该场景下,研究了在保证蜂窝用户和D2D用户的基本数据速率需求的前提下,最大化所有D2D对的和数据速率并进行问题建模,其是一种混合整数非线性规划（Mixed Integer Non-Linear Programming,MINLP）问题。为此本文将利用多智能体双深度Q网络（Double-Deep Q-network,DDQN）算法来解决该联合优化问题。仿真结果证明本文所提的资源分配算法不仅可以有效提升D2D对的和数据速率,而且可以降低计算的复杂度。（二）在超密集D2D通信网络场景中,为了进一步提升系统容量,研究了基于集中式强化学习算法的D2D用户关联、载波分配以及功率分配方案。具体来说,本文所考虑的UDNs场景中D2D对可存在于相邻小基站的重叠区域内,在该场景下,研究了最大化系统整体的和数据速率问题,该问题不仅要优化D2D对和蜂窝用户的功率分配,还要优化位于小区重叠区域内的D2D对的用户关联以及子载波的复用,其也是一种MINLP问题。为此本文将利用集中式双对抗深度Q网络（Double-Dueling-Deep Q-network,D3QN）算法来解决该联合优化问题。仿真结果证明本文所提的方案可以接近理论的最优值。