随着科学技术的深入发展,无线通信网络越来越朝着智能化、多元化的方向发展,第五代移动通信技术5G（5th generation,5G）已经成为当今全球性的研究热点。当前已经进入大数据和人工智能的时代,随着各种智能终端越来越普及,数据流量也出现爆炸式的增长,使得频谱资源更加紧缺。在众多提高频谱利用率的技术中,非正交多址接入技术（Non-orthogonal Multiple Access,NOMA）具有实现增强用户公平性、提高频谱利用率、降低接入延迟以及促进多样化服务质量（Quality of Service,Qo S）的潜力,受到了众多国内外学者和领域专家极大的关注。与传统的正交多址接入（Orthogonal Multiple Access,OMA）技术不同,NOMA的基本思想是让用户共享相同的资源传输信息,然后在接收端利用串行干扰消除（Successive Interference Cancellation,SIC）技术对叠加信号逐级解码。双向中继（Two-Way Relay,TWR）技术有着扩大无线网络的通信范围、节约时隙资源、提升系统吞吐量和可靠性的能力而成为热点研究领域。与此同时,网络编码（Network Coding,NC）将传统的通信节点仅仅是转发信息的功能扩展到计算和转发融合,大大提高了网络容量。因此,NOMA与双向中继技术、网络编码技术的结合能够更充分地发挥这三种技术在通信网络上的优势,具有重大的研究意义。本文主要研究了基于双向中继与网络编码技术结合的非正交多址通信系统模型,所做的主要工作和创新概括如下:（1）针对实际场景中存在的具有上下行双向传输任务的通信系统,提出了一种两个时隙双向中继非正交多址（Two-Way Relay NOMA,TWRN）接入传输方案,基于解码转发协议（Decode and Forward,DF）研究信号的上下行双向NOMA传输技术,利用网络编码原理在两个时隙内实现基站和用户之间的双向信息交换,节约了频谱和时隙资源。进一步考虑不完美信道状态信息条件,分析系统的传输性能并推导了系统中断概率以及遍历和速率闭合表达式。通过仿真实验验证了理论结果的正确性和有效性,仿真结果表明,在完美信道状态信息（Channel State Information,CSI）和不完美CSI两种条件下,相比于现有文献所提方案、单向中继NOMA和OMA网络,本文所提方案有效降低了系统的传输中断概率,提高了系统的遍历和速率以及系统吞吐量。另外对发送端功率分配因子对系统造成的影响进行了分析,最后还分析了不同目标速率的设置对系统中断性能造成的影响。（2）针对放大转发的双向中继NOMA通信系统,现有方案存在上行信号在不完美CSI条件下传输性能较差的问题,本文对系统模型和信号的传输方式进行了改进,利用三个时隙完成基站和用户之间信号的相互交换,基于放大转发协议（Amplify and Forward,AF）研究信号的上下行NOMA双向传输技术,基于第二三时隙传输任务的不同,本文改进方案存在两种工作模式。本文在不完美信道状态信息下分别研究了上下行信号的中断性能。仿真实验证明了传统方案在不完美CSI时上行信号中断性能的局限性,本文所提方案在保证下行信号传输质量的同时有效地降低了上行信号的中断概率,并且提高了系统的抗CSI鲁棒性。最后分析了发送端功率分配因子对系统中断性能造成的影响。