异构网络已经成为第五代移动通信技术（The 5th Generation Mobile Communication Technology,5G）的重要组网方式,其通过在宏基站覆盖范围内部署多种类型的小型基站,缩短终端设备与基站间的距离,可有效提高频谱利用率和网络容量。然而,5G商用时代推动了数据流量和智能设备的快速增长,同时催生了具有多样化业务需求的新型智能应用程序。为了满足未来密集异构网络架构中日益增长的服务需求,缓解网络频谱、计算与缓存资源的短缺,设备到设备（Device-to-Device,D2D）通信、毫米波、移动边缘计算（Mobile Edge Computing,MEC）等很多新型技术被广泛应用,在提升网络性能的同时也给无线网络资源分配带来了新的挑战。一方面,多样化的服务需求促使资源分配问题由单一的通信资源拓展到通信、计算和缓存资源的联合优化,多维资源之间紧密联系且相互耦合,加大了多维资源分配的难度。另一方面,异构网络环境动态复杂,环境信息难以被准确获取且优化问题中变量维度高,传统优化方法难以快速求解复杂动态环境下的多维资源分配问题。近年来,人工智能,尤其是深度强化学习（Deep Reinforcement Learning,DRL）方法通过智能体与环境动态交互优化策略,为解决无线通信网络资源管理中的复杂优化问题提供了有效途径。因此,本论文重点研究基于DRL的无线异构网络中的通信、计算和缓存多维资源分配方法,主要研究内容如下:1)针对用户设备间频谱共享与干扰管理的问题,研究了基于深度Q网络（Deep Q Network,DQN）的异构网络D2D通信模式选择和信道分配方法。首先,提出了一种具有蜂窝和毫米波频段且支持D2D通信的异构网络模型,其中D2D用户可选择蜂窝模式或毫米波模式进行通信。其次,定义了在蜂窝和D2D用户服务质量需求约束下以最大化系统总速率为目标的D2D通信模式选择和信道分配联合优化问题。最后,设计了一种基于分布式多智能体DQN的资源分配算法优化模式选择和信道分配策略。仿真结果表明,所提算法具有良好的收敛性能,与其他现有方案相比,所提方案能够实现更好的系统性能。2)针对内容请求业务的低时延需求与服务器缓存容量受限的问题,研究了基于多智能体深度确定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient,MADDPG）的异构网络协作边缘缓存方法。首先,提出了一种两阶段协作边缘缓存策略,包括内容放置阶段和内容交付阶段。其次,定义了以最小化每个小小区的内容交付时延和缓存命中率之差为目标的内容缓存和带宽分配联合优化问题。最后,设计了一种基于MADDPG的协作边缘缓存算法求解优化问题,实现了对内容缓存和带宽分配的智能决策。实验结果表明,所提算法可以显著降低内容交付时延并提高缓存命中率。3)针对多样化的业务需求以及MEC服务器计算资源和缓存容量受限的问题,研究了基于MADDPG的异构MEC网络多维资源分配方法。首先,构建了具有不同业务类型的异构MEC网络架构。其次,提出了部分计算卸载和协作边缘缓存策略,并详细建立了通信、计算和内容交付模型。再次,定义了以最小化每个小小区的成本为目标的通信、计算和缓存多维资源联合优化问题。最后,设计了一种基于MADDPG的多维资源分配算法,通过集中训练和分布执行来有效优化计算卸载、内容缓存和资源分配策略。仿真结果表明,所提算法能够有效降低小小区的成本,获得更好的系统性能。