随着第六代通信系统从构想中诞生,需要大量带宽的数据密集型应用遍布生产生活的方方面面,这对频谱的利用提出了巨大的挑战。然而,频谱资源作为通信发展的核心资源,面临着严重稀缺的局面。解决频谱稀缺的方法主要包括向更高频段扩展和提高频谱利用效率两种思路。虽然高频段频谱传输速度快,但是其波长短,所以在传输中能量损耗很大。因此如何在现有的频谱分配中提高频谱利用效率成为现代通信发展的关键问题。认知无线网络作为认知无线电和认知网络的结合产物,可以通过频谱分配有效提高频谱资源利用率。在认知无线网络中,用户根据信道占用状态分为主用户和次用户,而主用户在所分配频段上存在活跃和空闲两种状态。当主用户处于空闲状态,就会产生大量的频谱空洞,这会造成频谱资源的浪费。为合理利用频谱空洞,研究人员提出通过次用户对主用户频段上的频谱空洞进行感知和机会地接入,即动态频谱接入技术。然而,这种次用户在未经授权的频段上通信的行为对干扰管理和决策速度提出更高的要求。本文的研究目标是在频谱感知结果不完全正确的前提下,采用深度强化学习方法提出决策速度快且接入准确度高的动态频谱接入策略,提高频谱利用率。首先,本文建立了多用户多信道的认知无线网络的离散时间模型,为每个次用户开发一个分布式动态频谱接入策略,以在不影响主网络性能的情况下提高频谱利用率。同时,本文通过设计预警信号的方法保护主用户通信质量,即在主用户信道增益较低时将预警信息通过专用信道发送给主控系统,实现对主用户的干扰控制。其次,由于多用户多信道认知无线网络的节点数量庞大,节点间关系复杂程度高,传统算法在决策时需要大量的计算。本文充分利用了与认知无线网络一样具有认知能力且具有强大自适应性的深度强化学习技术,提出了基于改进的深度循环Q网络（Deep Recurrent Q Network,DRQN）的多用户多信道认知无线网络动态频谱接入方法。为了解决多用户多信道的复杂认知无线环境中大状态空间以及部分可观测性导致的高计算量问题,提出使用长短时记忆（LongShort Term Memory,LSTM）网络作为深度Q网络（Deep Q Network,DQN）中的Q网络充分利用历史信息减少计算量,并通过设置Dropout层防止过拟合的现象发生。同时为了解决DQN网络中存在的Q值过估计问题,采用双DQN（Double Deep Q Network,DDQN）网络将估计Q值和决策动作过程分别用两个网络训练,避免使用同一个Q值训练网络,提高了预测精度。试验结果表明,该方法可以得到较高的接入准确度和较低的干扰值。最后,本文提出了一种基于优先级经验回放机制的深度回声状态Q网络（Prioritized Experience Replay-Deep Echo State Q Network,PER-DESQN）多用户多信道认知无线网络动态频谱接入算法。由于在DRQN算法中,LSTM网络结构复杂导致收敛速度下降,因此本文采用回声状态网络（Echo State Network,ESN）利用底层时间相关性作为Q网络预测并估计Q值,与LSTM相比,ESN网络采用固定权重代替传统的梯度下降方法进行权重更新,大大降低了训练的计算量,缩短收敛时间;同时,为了解决在DDQN算法中以随机采样的方法在经验回放区内采样带来的Q值不稳定的问题,本算法提出利用基于Sum Tree的优先级经验回放（Prioritized Experience Replay,PER）机制,并结合重要性采样原则优化DDQN网络,对经验池中的样本按优先级采样,提升算法稳定性和接入准确度。仿真实验表明,基于PER-DESQN的多用户多信道认知无线网络动态频谱接入算法可以做出快速准确的动态频谱接入决策,并显著增加系统传输速率。