随着物联网和云应用的兴起,人们对无线网络的服务和数据量的需求有着爆炸式的增长。因此在数据速率、低功耗和大规模接入方面,第五代通信系统(5G)有更高的要求。非正交多址接入(NOMA)技术被认为是最具潜力的技术之一。传统的正交多址接入(OMA)方式通过给不同的用户分配相互正交的资源抑制用户间的干扰,资源利用率较低。通过在发射端采用叠加编码并且在接收端采用串行干扰消除(SIC)算法,非正交多址接入允许同一频段同时分配给不同的用户,大大的提高了资源利用率。SIC技术是NOMA接收端用户检测的关键技术之一。然而在实际应用中,SIC的主要缺点是存在差错传播问题。如果信号判决发生错误,将导致从接收信号中删除了错误的重构信号,并且这种错误将从一个用户传递到另一个用户。为了抑制SIC的差错传播,本文从提高干扰用户检测可靠性的角度,对NOMA中的SIC多用户检测算法进行研究。论文的主要研究内容如下:首先,针对两用户NOMA下行链路,从提高发射信号噪声容限的角度出发,提出了基于星座旋转的串行干扰消除算法。在发射端当两用户均采用BPSK或QPSK调制时,基站根据用户信道增益进行功率分配,并将弱功率用户调制信号的星座旋转一定的角度,再与强功率用户的调制信号叠加,将叠加信号经天线发射到无线信道。在接收端,采用基于星座旋转的串行干扰消除算法对目标用户进行检测。另外,以最大化两用户叠加星座的最小欧氏距离为目标函数建立优化问题,并求解最优的旋转角度。当旋转角度最优时,两用户均采用BPSK调制,基于星座旋转的SIC检测算法的BER性能与理想SIC的BER性能相当;当两用户均采用QPSK调制,与传统的SIC检测相比,基于星座旋转的SIC检测算法性约有2dB的增益。其次,为了得到最优旋转角度的一般性解,针对MPSK调制,以最大化两用户叠加星座的最小欧式距离为目标函数建立优化问题。当两用户的功率差异较小或者当调制阶数较高时,叠加星座间会出现交叉。当星座间不存在交叉时,利用星座点的对称性以及最小欧式距离的周期性,推导出了最优旋转角度的一般性条件;而当星座间存在交叉时,本文所提的基于星座旋转的SIC算法不再适用。最后,研究了基于信道编码的串行干扰消除算法。针对两用户NOMA下行链路,在发射端两用户分别进行卷积码编码、调制和功率分配后进行叠加,在接收端采用基于软判决译码的串行干扰消除算法进行检测。与基于硬判决译码的串行干扰消除算法相比,目标用户的BER性能提高3dB左右。另外,与无编码时的传统SIC检测相比,采用基于软判决译码的SIC检测算法的性能损失较小,因此通过采用信道编码技术能够提高目标用户检测的可靠性。