随着物联网技术的广泛应用,接入无线网络中的设备飞速增长,用户对移动数据的要求也更加严苛。有限的频谱资源怎样可以更充分的被利用,如何满足用户高质量的数据传输的需求,成为了目前移动通信领域重要的研究方向。在宏蜂窝小区中引入多种小蜂窝节点,例如D2D通信和中继通信等,已经成为未来蜂窝移动通信的发展趋势。其中,D2D通信指的是近邻用户设备之间,不经过基站中转,直接进行端对端的数据传输。其次,在基站和用户设备之间引入中继节点,进行两跳或者多跳传输的中继通信,可以改善信号的传输质量,实现高质量通信。但是,为了更加充分的使用频谱资源,D2D通信和中继通信在大多数情况下,都和宏蜂窝用户使用相同的频谱资源。异构蜂窝网络给系统带来更大容量的同时,也会因为不同用户之间复用相同频段,给系统带来同频干扰。因此,需要使用干扰协调技术来减小干扰的程度,实现异构蜂窝网络进一步优化。本文使用Stackelberg博弈模型来研究异构蜂窝网络中宏蜂窝和小蜂窝之间的干扰协调问题。考虑了复用资源分配和小蜂窝上行功率控制的干扰协调场景,将问题转化为2步博弈:首先由小蜂窝决策的跟随者博弈中,根据成本参数计算出小蜂窝链路的发射功率;其次,在宏蜂窝决策的领导者博弈中,根据上步得出的小蜂窝功率以及成本参数和信道参数,通过最优匹配算法得出小蜂窝和宏蜂窝的最佳复用情况,进而实现复用资源的分配。由于成本参数是影响博弈结果的重要变量,本文提出了一种基于蒙特卡洛的离线强化学习算法,动态调整成本参数。最后,仿真结果表明,和随机算法和贪婪算法相比,该算法具有明显的性能优势。此外,考虑到离线学习不同场景下效果不稳定的问题,本文研究了成本参数的集中式训练+分布式执行的在线Q学习模型。同时,考虑到设备的移动性造成其信道条件快速变化,本文提出了适用于该Q学习模型的两阶段Q表训练更新算法,使其在满足优化效果的同时,减少收敛优化需要的时间。仿真结果表明,和三种基准算法相比,基于在线强化学习的Stackelberg博弈干扰协调算法在系统容量和收敛速度方面具有显著优势。