随着4G移动通信系统在世界范围内的普及与商用,移动互联网业务得到了快速增长。网络节点和智能终端的海量化、业务种类的多样化以及服务范围的广泛化,意味着对未来通信系统频谱效率的需求将大幅度提升。然而传统的正交多址设计思路已经面临性能瓶颈,无法满足快速增长的业务以及资源需求,因此非正交多址技术成为了5G移动通信系统中极具发展前景的技术。本文主要研究内容包括编码域非正交多址技术方案、非正交多址迭代接收算法以及利用EXIT图进行迭代检测性能分析三个方面。首先,本文中主要研究了两种编码域非正交多址技术,空间耦合多址技术以及编码域图样分割多址技术(PDMA)。空间耦合多址技术采用了空间耦合LDPC码的构造方式,将多个用户的数据流以空间耦合结构进行交织叠加后生成发送信号。类似地,编码域图样分割多址技术则是利用PDMA小矩阵将多用户码流叠加到相同的时频资源上,并可以基于信道编码理论对其结构进行优化设计。其次,对于多用户检测算法的研究,传统的接收端采用多用户串行干扰消除(SIC)算法,但由于实际系统中存在错误传播现象,并不能达到其理想的性能。本文主要研究了基于消息传递算法(MPA)的接收机,在检测过程中同时对多个用户的数据进行检测,并在迭代过程中进行软信息的交互。同时引入信道编码,通过多用户检测器与译码器之间迭代进行外信息的传递,获得更优的多用户检测性能。此外,本文提出了一种联合检测译码接收算法。最后,本文将检测器和译码器视作独立的分量,通过分析其EXIT曲线可以预测得到整个非正交多址系统的多用户迭代检测译码性能。本文中EXIT图的分析结果以及最后的误比特率仿真曲线说明,更低的多址结构节点度、检测器和LDPC译码器内部更多的迭代次数以及更适合的信道编码,都可以使多用户检测译码的性能得到提升。