在2019年世界5G大会上,以5G技术为支撑的一系列新兴业务不断涌现。其中,数字城市、无人机救援、5G远程驾驶和远程医疗等构想,俨然搭起一座充满无限可能的未来之城。为了实现5G宏伟愿景,四个主要场景备受青睐:无缝广域覆盖、高速率大容量、低功耗大连接和低时延高可靠。面对未来移动网络数据需求的爆炸性增长,如何提升频谱效率和能量效率是5G部署的重要目标,故现有无线传输方式和组网技术均需突破性创新。面对海量连接与频谱资源稀缺之间的矛盾,一方面引入新型非正交多址接入（Non-orthogonal Multiple Access,NOMA）技术,着重扩大用户连接数;另一方面,全双工（Full-Duplex,FD）协作通信过程由一个时隙构成,理论上频谱效率可得到成倍的提升。那么,基于NOMA技术的全双工中继及协作方案设计或可应对未来移动通信中低时延大连接的通信需求。其次,理想瞬时信道状态信息（Channel State Information,CSI）的获取必伴随着庞杂的信令开销和过载的反馈信息,基于部分信道状态信息的系统性能分析也值得进一步研究。最后,非理想因素（自环干扰信号,信道估计误差和用户间干扰）对系统性能的影响不容忽视,进而总结关键技术的实际应用效果与理想通信方案之间的偏差。综上,考虑多用户场景,本论文对NOMA技术和全双工协作通信的联合设计方案进行了系统性研究。具体地,本文的主要研究内容总结如下:首先,研究了基于多用户场景的全双工中继网络,通过NOMA原理实现多用户高效共享同一频谱资源。之后,为降低基于串行干扰消除（Successive Interference Cancellation,SIC）技术接收机的逐级检测难度,设计了一种基于部分瞬时信道状态信息的用户选择配对方案。考虑Nakagami-m衰落信道条件,利用数学积分和次序统计理论,推导了固定功率分配策略下各用户中断性能和遍历容量的确切表达式。由于闭合表达式较为繁琐,进一步给出了用户中断概率的高信噪比渐进表达式。数值与仿真结果表明:（1）信道条件最优和次优用户完成配对可获得最优的遍历容量,而信道条件差异显著的用户对可获得接近最优的遍历容量;（2）全双工节点处残余自干扰信号是限制所提方案的主导因素,若采取有效的自环干扰消除技术,基于NOMA的全双工中继方案的中断性能和遍历容量优于半双工（Half-Duplex,HD）中继NOMA机制;（3）与非协作正交多址接入方案相比,基于NOMA的中继网络在提升系统遍历容量的同时还兼顾了用户接入公平性。其次,由于无线信道的广播特性,动员闲置节点或信道条件较好的用户充当中继节点,来缓解小区边缘用户容量受限的问题。因此,提出了一种基于NOMA的用户协作传输机制,源节点利用NOMA原理同时服务一个中心用户和多个边缘用户。具体地,以两类典型用户为观察对象,第一种是单跳节点,利用直传链路与基站进行通信,同时作为中继来协作多个边缘用户的传输;第二种是双跳用户,通常部署于小区边缘,与基站的通信方式包括直接传输和协作传输。另外,借助随机几何理论建模用户分布的随机性,研究了基站仅已知部分统计CSI情形下的系统性能。利用高斯切比雪夫积分近似方法,分别得到了全双工协作NOMA机制和半双工协作NOMA方案下中断性能和遍历容量的解析表达式。在此基础上,考虑到NOMA技术和全双工协作方案都是干扰受限的,设计了一种混合全/半双工切换传输模式。最后,仿真结果表明:（1）基于统计CSI的协作NOMA方案可获得与理想CSI场景中协作NOMA机制相近的系统性能;（2）直传链路的存在避免了全双工协作NOMA方案中边缘用户零分集增益问题。最后,研究了非理想因素对系统性能的影响,例如信道估计误差和用户间干扰。首先,考虑反馈受限的通信场景,瞬时信道状态信息的获取总是存在信道估计误差。考虑基于非理想CSI的协作NOMA方案,分别获得了用户中断概率的精确表达式和遍历容量的渐进分析值。仿真结果表明,与基于理想CSI的协作NOMA机制相比,由于信道估计误差的影响,全双工协作NOMA和半双工协作NOMA方案中各用户均存在错误平层,且系统遍历容量在高信噪比区域内收敛至常数。其次,由于NOMA技术允许多个用户复用于同一资源块,基于统计信道信息或非理想CSI的协作机制仅考虑理想SIC的情况。因此,通过蒙特卡罗平台分析了非理想SIC过程中的误差传播对中断概率和遍历容量的影响。仿真结果表明,残余用户干扰的存在影响后续信号的检测,故基于非理想SIC的协作NOMA方案出现误码平层,且遍历容量在高发送信噪比条件下趋于定值。