非正交多址(NOMA,Non-Orthogonal Multiple Access)系统凭借大容量、高频谱效率特性成为了第五代移动通信系统(5G)中的研究热点,与传统多址系统不同,NOMA系统在发送端采用功率复用技术,将多个用户信号在相同的时域、频域和码域进行叠加发送,在接收端利用串行干扰消除(SIC,Successive Interference Cancellation)接收机实现正确解调。当前针对NOMA系统的研究主要集中于功率分配、用户配对和SIC接收机等方面,而相对缺乏NOMA系统的物理层安全研究。物理层安全是未来无线通信安全的发展方向,本文目标是推进物理层安全研究与5G非正交系统的结合,积极探索NOMA系统中更高的安全传输机制。本文从分析NOMA系统的自身安全性入手,提出了适用于不同NOMA通信场景的物理层安全方案,主要工作和创新点如下:1.针对不存在窃听者、存在分组外部窃听者和存在分组内部窃听者三种场景讨论了NOMA系统的最优功率分配方案,并基于最优功率分配分析了窃听者存在时NOMA系统的安全性。NOMA系统的自干扰性质具有一定的安全性,但到目前为止其安全性并不明晰。一方面,在NOMA系统中存在分组外部窃听和分组内部窃听两种窃听场景,有必要针对不同窃听场景分析NOMA系统的安全性;另一方面,NOMA系统产生自干扰的强弱与基站的功率分配密切相关,针对不同场景讨论该系统的最优功率分配方案也至关重要。最后,通过仿真验证了理论分析的正确性。2.研究了大规模网络中单输入多输出NOMA(SIMO-NOMA,Single-Input Multiple-Output NOMA)系统的下行安全传输问题,提出了基于协作干扰的物理层安全方案。首先利用泊松点过程对窃听者和协作干扰节点的位置进行建模,推导得到随机协作干扰方案下系统保密中断概率的闭式解,然后由于协作节点密度过大时随机方案的性能较差,进一步提出一种信道增益受限的协作干扰方案,该方案选择到分组用户的瑞利信道因子均小于一定阈值的协作节点发送干扰信号,会对窃听者造成更严重的影响。仿真结果表明,协作干扰方案能够有效提升SIMO-NOMA系统的安全中断性能。3.研究了多输入多输出NOMA(MIMO-NOMA,Multiple-Input Multiple-Output NOMA)系统的下行安全传输问题,提出了一种人工噪声辅助的安全波束成形方案。主要工作是在基站功率受限条件下,联合设计合法用户波束成形矢量以及人工噪声矢量,以实现系统安全和速率最大化(SSRM,Secrecy Sum Rate Maximization)。为解决非凸的SSRM问题,运用半定松弛(SDR,Semidefinite Relaxation)技术和连续参数凸估计(SPCA,Sequential Parametric Convex Approximation)算法将非凸优化问题转化为凸优化问题,采用内点法得到了波束成形的局部最优解。同时,针对基站天线数量大于用户数量的情况,提出了低复杂度的零空间人工噪声辅助的波束成形方案,即在合法用户等效信道的零空间发送噪声矢量,因此能够保证合法用户不受人工噪声的影响。仿真结果表明,上述两种方案均能显著提升MIMO-NOMA系统的安全性能。