随着无线通信的迅速发展,网络规模越来越大。特别是在异构无线网络当中,随着用户数量的增加,基站的数目也随之增加,无线网络环境变得越来越复杂。能量效率优化和资源分配问题亟需解决,深度增强学习算法能够有效的进行资源动态分配并减少计算复杂度,同时随着异构网络中无线接入技术的发展和用户对于通信安全的关注,用户需要合理的性能和安全需求,因此本文主要以异构无线网络场景为基础,分别对能量效率优化以及用户的数据速率和通信安全水平联合优化进行了研究。论文主要工作如下:首先,本文对宏基站和多个蜂窝基站共存的场景下功率分配和能量效率优化问题进行了研究,此类问题是一个NP-hard问题,与传统的优化分解算法不同,本文采用深度增强学习算法求解该问题,我们的目标是在宏基站与多个蜂窝基站随机密集分布且存在相互干扰的情况下,最大限度地动态提高整个网络的系统能量效率。首先我们根据宏基站与多个蜂窝基站共存的场景构建了系统能量效率优化模型,然后通过对发射功率进行离散化以及宏基站吞吐量约束来减少深度增强学习中过大的状态空间以及深度神经网络维数,并且改进了Nature DQN中的深度学习模块,最后仿真结果表明,Nature DQN不仅提高了系统能量效率,而且收敛速度也得到了提高。其次,为了研究异构无线网络场景中的用户接入选择和通信安全水平优化问题,我们考虑了异构无线网络中多种无线接入技术和传输模式存在的场景。首先我们考虑基站用户数量限制和用户所需最低数据速率构造出多种传输模式组成的异构无线网络用户数据速率和基站的通信安全水平联合优化模型,然后在多目标优化函数中我们使用权重参数来表示用户需求,权重参数的大小反应用户需求偏向,最后我们通过对数学模型重构线性化并使用CPLEX商业优化软件求解此问题。仿真结果表明,多种无线传输模式可供选择的异构无线网络能够很好的满足用户的需求,在网络吞吐量和中断概率上都有明显的改善,权重参数能够很好的反应用户的需求偏向。