随着5G移动系统大规模部署和广泛应用,未来移动系统对频谱资源的需求将会大幅增长,而频谱资源的有限性使得供需矛盾日益突出。在5G移动通信系统中采用更加先进的频谱资源管理方法是提高频谱效率,缓解供需矛盾的重要手段。研究表明,认知无线电技术是解决此类问题最具潜力的技术之一。其基本思想是在不干扰授权系统正常工作的前提下,通过对通信环境的学习来自适应调节通信参数,实现高可靠、低时延的通信。为此,设计高效数据链路层协议是实现可靠传输的有效技术之一。本文针对认知停等式HARQ协议的性能进行了理论分析,同时也结合这一协议设计了协作传输策略。首先,对认知用户占用授权频谱的行为进行建模分析,分别从信号检测和授权用户的数据包到达规律这两个角度建立了相应的数学模型。对于前者,建立4状态离散马尔科夫模型,通过求解稳态分布给出了认知用户在不完美感知时占用授权频谱的概率计算公式。而对于后者,建立了等效的M/M/1/N排队模型刻画了认知用户的占用行为并给出了不完美感知时占用授权频谱的概率计算公式。其次,综合考虑授权频谱实际状态、认知用户感知结果和认知数据包的状态这三个因素,建立了8状态离散马尔科夫模型来描述单对认知用户场景下认知停等式HARQ的行为,通过求解稳态分布,给出了认知停等式HARQ的吞吐量和平均分组时延的表达式。并分析得到了认知停等式HARQ吞吐量的上界为（1-p_e）?(1-p_on)²,其中p_e为平均错误概率,p_{o n}为授权频谱处于“忙”状态的稳态概率。由数值模拟,分析发现影响认知停等式HARQ性能的因素有无线信道的质量、认知用户的感知能力以及授权用户的行为,建议通过提升认知用户感知能力来提升认知停等式HARQ的吞吐量。接着,在等效M/M/1/N排队模型的基础之上,结合双门限能量感知技术给出单簇头认知场景下认知停等式HARQ的吞吐量、平均分组时延以及感知时延的表达式。特别地,为分析簇头与簇内认知用户之间通信距离对协议性能的影响,采用了中断概率近似代替了平均分组错误概率。由数值模拟结果得到吞吐量随通信距离的增加而减小,建议在通信距离较大时,认知系统可终止数据传输。最后,提出了以授权用户行为作为触发条件,设计了由两个全双工认知基站协助授权系统重传失败数据分组的协同策略。该策略完美融合带内全双工技术与认知无线电技术。与传统半双工中继模式相比,可实现同时提升认知系统和授权系统吞吐量的目的。同时,在选取独立非同分布Nakagami-m衰落信道前提下,分别给出了授权系统和认知系统中断概率和吞吐量的解析式。通过仿真验证,得到影响该策略性能的因素有基站自干扰抑制能力和授权用户行为和全双工认知基站数目。