随着无线通信技术的飞速发展,未来移动网络将承载海量用户设备,激增的用户数据对有限的频谱资源带来了严峻的考验。为有效解决这一问题,非正交多址接入（Non-Orthogonal Multiple Access,NOMA）技术应运而生,该技术可在保证用户接入数量的同时,有效提升系统频谱效率,解决频谱稀缺问题。为进一步提升系统容量,可将协作传输（Cooperative Transmission,CT）技术应用于NOMA系统,优化边缘用户的通信体验,从而满足人们不断上涨的数据交换需求。除频谱效率和系统容量以外,未来移动网络还需有效解决用户大量接入而导致的信息泄露问题,谨防系统中的恶意用户利用无线信道的广播特性窃听信息。由于信息传输数据量的激增将导致传统加密方式不能有效保障系统保密性能,因此研究学者将目光聚焦到物理层安全（Physical Layer Security,PLS）技术上,该技术作为一种底层加密技术,可利用物理信道的固有属性保护用户通信安全。基于以上研究背景,本论文将开展协作NOMA系统下的物理层安全研究。现有协作NOMA系统中,大多采用专有中继协助用户进行传输。实际上,在NOMA系统中,近用户在解码自身信息前需解码远用户信息,可利用这一特性,选取近用户协助传输远用户信息。该思想可在降低系统开销的同时,提高传输可靠性。目前针对用户协作的研究主要针对的单用户协作模式,即通过使用单个近用户为远用户进行协作传输。NOMA系统允许多用户共享同一频谱资源,可以很好的提升多用户系统下的频谱效率与系统容量。基于此,本文研究了近用户协作远用户传输的下行NOMA系统。考虑到用户Qo S需求的异构性,本文设计了两阶段用户调度方案在兼顾远、近用户的不同Qo S需求下调度近用户协助远用户传输来保障系统的保密性能。同时,为了保障系统的保密性能最优,以最小化保密中断概率为目标进行用户的调度设计了最优调度方案。最后,推导了上述两种方案的保密中断概率闭式解,通过仿真实验验证了推导结果的准确性,并且结果显示上述两种方案都可以达到最优的保密中断性能。另一方面,目前的研究中窃听用户通常只进行单阶段窃听,在本文的研究中考虑了窃听者全局窃听的情况。协作传输的研究中通常考虑窃听者的窃听能力不强,即窃听者信噪比较低,而针对窃听者信噪比较高的情况下,上述研究的系统保密性能大幅下降。为了保障高窃听信噪比情况下系统的保密性能,本文引入了协作干扰技术来提升系统的性能。常用的协作干扰技术通常使用波束成形或者多天线技术来发送干扰噪声,并且通常只有单阶段协作干扰。而在本文中,设计了协作用户-干扰者联合调度算法通过联合调度近用户节点和发送节点产生干扰噪声,从而实现全局干扰的效果,可在不影响合法用户传输性能的前提下,旨在尽可能地差异化合法链路与窃听链路之间的信道容量,从而确保的系统的保密性能。为了评估所提方案的性能,本文推导了上述调度方案的保密中断概率闭式解,通过仿真分析验证研究的准确性。并且对比了有无干扰噪声对系统的性能影响,结果表示合理的添加干扰噪声可以很好的提升系统的保密性能。