认知无线电技术致力于改变频谱固定分配和接入方式,即次用户在不对主用户产生干扰的情况下,机会性地接入无线频谱资源,以提高频谱利用率。其中频谱感知技术是认知无线电技术的基础,也是国内外研究的重点。频谱感知中,在次用户接入信道前,为最小化对主用户通信的干扰,次用户需依次选择信道进行感知以找到空闲信道,这会造成扫描开销和接入时延。针对此问题,本文依托团队科研项目,以协助次用户快速且准确地找到空闲信道为目标,从信道选择算法和协作频谱感知算法两个方面进行研究,开展如下工作:(1)概述了强化学习模型的原理和应用难点,重点研究了多臂赌博机问题的模型、动作估计值更新策略以及动作选择策略,为本文的后续研究奠定了理论基础。(2)为加快次用户找到空闲信道以减少扫描开销和接入时延,本文设计了基于强化学习的信道选择模型,将次用户信道选择问题建模为强化学习中的多臂赌博机模型。已有的研究假设主用户对信道的占用模式为理想的伯努利过程,并假设次用户对信道是完美检测的。为了使模型更逼近真实环境,本文将主用户占用模式建模为关联性伯努利过程,且在设计模型的信道回报函数时综合考虑了邻居的检测准确率。(3)为求解(2)中的信道选择模型,提出了一种FEAC信道选择策略,并从理论和仿真两个方面研究了 FEAC策略的性能。在理论方面,FEAC策略可在信道选择初期对每个信道充分探索,以尽可能得到每个信道的实际空闲概率,在信道选择中后期,可以迅速收敛到选择空闲概率最大的信道。在仿真方面,提出的FEAC策略确实可以在求解过程加速收敛,且产生更少的遗憾值。用FEAC策略求解(2)中模型的结果表明,信道选择模型能有效减少扫描开销和接入时延。(4)针对支持次用户间协作的环境,设计了一种基于强化学习的协作频谱感知算法,将协作用户选择问题建模为一个多臂赌博机模型。在信道选择算法的基础上,次用户在协作过程中对协作用户的信誉值即检测的可信程度进行学习,并选择信誉值最高的协作用户来感知信道。仿真结果表明,与非协作感知和传统的协作频谱感知算法相比,提高了网络整体的检测效率,从而进一步减少了扫描开销和接入时延。