NOMA技术具有高谱效、高设备接入量等优势,有助于构建更高容量、更低时延的无线通信网络,被认为是提升无线通信系统性能的关键技术之一。协作通信技术具有抗多径效应,有效扩展通信覆盖面积,提高系统分集增益的特点,它的出现引起了移动通信领域的变革。全双工技术相比半双工技术可以有效地提升系统容量,有着广阔的应用前景。然而,当NOMA技术与全双工协作通信技术结合时,将存在信号干扰问题,并且对系统性能的分析较为复杂,因此对系统的中断性能和遍历容量的研究对NOMA全双工协作通信系统的设计具有一定的指导意义。所以本论文着重研究基于小区边缘单用户以及多用户的NOMA全双工协作通信系统中断性能以及遍历容量,针对不同的系统模型提出了改进的系统传输方案并进行了功率分配问题的研究。本文首先提出了一种基于小区边缘单用户的NOMA全双工协作通信系统的改进型的传输方案,不同于现有研究,该方案中来自协作链路的信号被当做有用信号并和直达链路的信号采用最大比合并的方式进行接收处理。该传输方案能有效提高小区中各用户以及系统总的各态历经速率。在推导出基于此传输方案的系统中各用户以及系统总的中断概率以及各态历经速率闭式解的前提下,针对发射端未知和已知即时信道状态信息的情况,以最小化系统中断概率和最大化系统最小可达速率为目标,对系统进行了功率分配问题的研究。经仿真验证,相比现有研究方案,本传输方案可在保证系统可靠性的同时进一步提高系统的遍历容量。考虑到在实际场景中,小区中心用户和边缘用户数往往不相等的情况,针对小区边缘和小区中心用户配对后未能充分利用完整带宽的问题,本文采用了一种时隙分割—带宽共享的系统传输方案。该方案在保证配对用户占用全部带宽的前提下,有效地提高了系统遍历容量。此外,本文还将一种新的中继节点信号传输方案应用于NOMA全双工协作通信系统,不同于传统的中继节点译码后转发单一信号的中继传输方案,此方案中中继节点先译码用户信号然后按照新的功率分配因子对信号进行重新编码,再转发新的NOMA混合信号。本文推导出了基于此传输方案的系统中各用户以及系统总的中断概率以及各态历经速率的单积分以及闭合形式的解,并本着最大化系统最小可达速率的原则进行了系统功率分配问题的研究。最后,本文通过仿真验证了功率分配因子、基站和中继节点间距离以及用户目标速率对基于该传输方案的系统性能的影响,仿真结果表明该传输方案可进一步提高系统遍历容量。