为了满足5G网络的高速率、高可靠和低时延的要求,异构云无线接入网(H-CRAN)是未来5G网络发展的必然趋势。通过资源虚拟化和集中式分配方式,进一步提高网络频谱效率和能效,从而实现更高的吞吐量性能。然而,无线资源的动态特性和无线网络环境的复杂性给资源优化策略带来了极大的挑战,网络自优化是实现资源合理、快速、按需分配的关键。本文基于深度强化学习理论对异构云无线接入网络的资源分配问题进行研究,主要研究内容和创新点如下:1.为了满足无线数据流量大幅增长的需求,实现无线资源的动态分配,提出一种基于深度强化学习(DRL)的无线资源分配算法。首先,该算法以队列稳定为约束,联合优化拥塞控制、用户关联、子载波分配和功率分配,并建立网络总吞吐量最大化的随机优化模型。其次,考虑到调度问题的复杂性,系统的状态空间和动作空间具有高维特征,DRL算法利用神经网络作为非线性近似函数,高效地解决维度灾问题。最后,针对无线网络环境的复杂性和多变性,引入迁移学习(TL)算法,利用TL的小样本学习特性,使得DRL算法在少量样本的情况下也能获得最优的资源分配策略。此外,TL通过迁移DRL模型的权重参数,进一步地加快了DRL算法的收敛速度。仿真结果表明,所提算法可以有效地增加网络吞吐量,提高网络的稳定性。2.针对异构云无线接入网络的频谱效率和能量效率问题,提出一种基于PD-NOMA的能效优化算法。首先,该算法以队列稳定和前传链路容量为约束,联合优化用户关联、功率分配和资源块分配,并建立网络能效和用户公平的联合优化模型。其次,由于系统的状态空间和动作空间都是高维且具有连续性,研究问题为连续域的NP-hard问题,进而引入置信域策略优化(TRPO)算法,高效地解决高维动作空间以及连续域问题。最后,针对TRPO算法的标准解法产生的计算量过于庞大,采用近端策略优化(PPO)算法进行优化求解,PPO算法既保证了TRPO算法的可靠性,又可以有效地减少TRPO的计算复杂度。仿真结果表明,所提算法在保证用户公平性约束下,进一步提高了网络的能效性能。