高速发展的物联网等新兴技术给人类生活和工作带来巨大便捷的同时,也对新一代无线通信提出了更高的要求。包括5G在内的未来移动网络业务能力的提升将在三个维度上同时进行:资源利用率、系统吞吐量以及挖掘新的频谱资源。为了应对这些挑战,新型的多址接入技术——非正交多址接入（Non-orthogonal Multiple Access,NOMA）以及认知无线电技术（Cognitive Radio,CR）受到了广泛关注,本文重点研究功率域NOMA技术。功率域NOMA的核心思想是在发射端利用功率复用使得其可以在同时、同频上服务于多个用户,从而提高系统容量和频谱效率;另一方面,CR技术通过感知授权频谱工作情况,使得非授权用户也可以接入授权频谱通信,解决了授权用户频谱利用率低的问题,也能够大幅度提高频谱效率。因此,将二者结合是自然的选择,也是未来无线通信发展的一个关键技术。然而,由于无线通信以电磁波取代传统的线缆作为信息传输的载体,具有在空间中以光速自由、开放传播的特性,但也为攻击者实施恶意窃听提供了天然的环境。我们在寻求高速率、高容量、低时延的通信目标时,也需要考虑通信系统的安全性问题。物理层安全（Physical Layer Security,PLS）技术因为能够利用无线信道自身衰落、噪声等特性,采用功率控制等技术令窃听者无法正确解码,从而提高系统安全容量,而无需设计复杂的加密解密算法,成为解决安全问题的至关重要的手段。由于NOMA和CR中功率控制都是主要的核心技术,如何在这种网络场景中,实现物理层安全技术,成为一个研究热点。本文主要对CR和NOMA结合的通信模型中的物理层安全问题进行研究,主要工作和创新点归纳如下:（1）首先,本文研究了频谱覆盖式（overlay）CR与NOMA结合的通信模型的物理层安全问题。与underlay CR中次网络的传输功率需要受到约束不同,overlay CR的核心思想是利用频谱空穴,只要主用户的授权频谱未被占用,次网络即可接入通信。根据这一原理,提出了一个次网络通过感知主用户是否占用频谱,来实现辅助主网络通信或次网络通信的动态切换的系统模型。并且考虑了窃听者存在的情况。主、次网络均采用人工噪声技术进一步改善系统的安全传输性能。通过分别推导主、次网络安全中断概率（Secrecy Outage Probability,SOP）和安全吞吐量的表达式来研究系统的安全中断性能。并且,进一步给出了人工噪声功率分配因子对系统性能的影响。仿真结果表明了提出的动态协作方案在降低中断概率、提高吞吐量方面相比较于非协作方案的有益效果。提出的协作方案为overlay模式的CR-NOMA安全通信提供设计基础。（2）接着研究了基于频谱下垫式（underlay）CR和NOMA结合的通信模型的物理层安全问题,根据underlay CR的原理,次网络以很小的功率接入主网络授权频谱进行通信。考虑到实际场景中远距离传输的问题,次基站与合法用户之间通过解码转发（Decode-and-Forward,DF）中继辅助通信。第一个时隙,次基站向中继发送合法用户的叠加信号,中继接收到该混合信号后,在第二个时隙中解码并再次叠加发送给合法用户,此时,窃听用户试图拦截信号。为了保护合法用户通信的质量,在中继处采用了人工噪声与中继选择相结合的方案。推导了SOP和安全吞吐量的表达式来评估系统的安全性能。此外,还推导出了SOP的近似下界。仿真结果表明,underlay CR-NOMA在安全中断性能上显著优于传统的underlay CR-OMA网络,并且,人工噪声技术和中继选择方案能有效提高系统的安全吞吐量,该分析结果为underlay模式中继网络安全通信提供了有效的传输方案。