物联网技术的快速发展和移动智能终端的大规模普及,导致移动数据流量爆炸式增长。随着数据流量需求的不断增加,传统的蜂窝网络在网络容量和业务多样性方面己经无法满足需求,异构蜂窝网络通过密集部署小型基站成功解决了上述难题。然而小基站的密集部署,导致回程链路开销和网络能耗大幅增加,无法适应当下绿色通信的发展趋势。因此,如何降低网络能耗,制定最优的数据传输策略是目前研究的一个热点问题。本文以实现能耗最小化的数据传输策略作为研究对象,针对严格传输时延要求、缓存设备容量有限等问题,结合深度强化学习算法的自适应性和高效率的特点以及内容缓存在降低能耗方面的优越性能,通过控制发送功率,优化每个时隙内数据的传输速率,进而优化数据传输策略,实现全局能耗的最小化。具体研究工作如下:(1)针对不支持缓存设备的异构蜂窝网络,提出一种基于深度强化学习的数据传输策略。考虑到在数据包传输周期内,不合理的功率控制可能导致大部分数据包较早的完成传输,而后续数据包尚未到达基站,造成传输时间冗余,能量消耗过大。所提算法能够综合考虑不同大小数据包的到达时间和传输截止时间,通过实时性能反馈,对发送功率和数据包传输次序进行动态控制和优化,保证用户服务体验的同时对不同大小的数据包制定能耗最小化的数据传输策略。并且通过仿真实验将本文算法与Q学习算法、RDQN算法和FIFO算法等作了性能对比,结果证实,在复杂网络环境中,所提算法相比其他三种算法,收敛速度更快,能够使错误率降低75.4%、55.8%和66.3%。相比Q学习算法和FIFO算法,能够使网络的总能耗降低14.1%和22.6%。(2)针对支持缓存设备的异构蜂窝网络,提出一种联合内容缓存和数据传输策略。考虑在非高峰时段提前缓存用户请求的内容,并存储在小型基站的缓存设备中,当用户发出对某一文件的请求时,通过已缓存该文件的基站直接服务该用户,能够减少内容传输对回程链路的占用,同时提高用户服务体验,降低传输能耗。首先对每个时隙内的数据传输速率进行优化,将该能耗最小化问题建模为凸优化问题,并利用凸优化理论进行问题求解,最后在此基础上提出一种能耗最优的离线传输策略。实验表明,本文算法在缓存容量有限和容量充足的情况下,能够得到最优的数据传输速率曲线,最大化利用现有的缓存容量,得到缓存容量的最优值。在降低能耗方面,所提算法相对于传统的NCA和LRUCA具有更好的优化效果,能够使网络的总能耗降低46.9%和28.8%,并且随着缓存容量和文件流行度的增大,算法优化速度更快,性能优越性变得更加明显。图[16]表[6]参[68]