作为5G的研究热点之一,近年来大规模多输入多输出(Massive Multiple Input Multiple Output,Massive MIMO)技术得到越来越多的关注。Massive MIMO系统大规模阵列天线的布设,使得传统的信号估计与检测算法在较低的多项式复杂度时间内获得最优的误比特率检测效果成为一个非确定性多项式困难问题,因此,不能直接应用于实际中。这一课题的攻克存在较大难度,但对Massive MIMO系统完成通信功能的实践运作,却是亟待解决的重要问题。本文针对适用于Massive MIMO系统上行链路的低复杂度检测算法展开研究。群智能技术中的元启发算法在Massive MIMO系统检测中有巨大的应用潜力。针对如何将不断优化的群智能技术应用在Massive MIMO系统检测中,本文提出适用于上行Massive MIMO系统非编码信号的人工蜂群检测算法。所提算法在有限的多项式复杂度时间内获得近似最大似然(Maximum Likelihood,ML)检测算法的最优误比特率(Bits Error Rate,BER)效果,并以更低的所需最小平均接收信噪比(Signal to Noise Ratio,SNR)达到理论频谱效率。现有的Massive MIMO系统的检测算法在对高阶正交振幅调制(Quadrature Amplitude Modulation,QAM)信号检测时,算法的BER效果较差而使其不再适用。针对如何在有限的多项式复杂度时间内改善对Massive MIMO系统中高阶调制信号的检测效果的问题,本文提出了半定深度松弛检测算法和基于似然上升搜索的半定深度松弛检测算法。所提算法在获得更低的多项式计算复杂度的同时,不仅能够获得近似ML检测算法的最优BER检测效果,而且可以需要更低的平均接收SNR收敛到理论频谱效率,特别适用于大规模天线布设下的高阶调制信号的检测。当非编码Massive MIMO系统中参与发射的用户的数量多于基站端的接收天线数量时,已有的检测算法的检测效果非常差,以至于无法实现正常检测功能。在本文中,将这一场景称为过载的上行多用户Massive MIMO系统。过载问题的研究,对于5G时代的忙时处理,有着重要的意义。针对过载的非编码Massive MIMO系统的检测问题,本文建立了稀疏的过载检测模型,并提出了基于压缩感知的半定松弛检测算法和基于基于压缩感知半定松弛的混合吉布斯采样检测算法,能够在过载条件下实现对于融合MQAM信号的检测,在有限的多项式复杂度时间内,在基站接收端对用户接入状态信息未知的情况下,以中低平均接收SNR获得近似用户接入状态基站端已知条件下的BER检测效果,且达到近似最优的对用户的接入状态信息正确检测效率,并以较低的所需最小平均接收SNR达到理论频谱效率。Polar码作为5G先进的编码技术,是唯一可达山农界的编码,并具有低复杂度的编解码方法等诸多优势,但目前鲜有研究讨论Polar码在Massive MIMO系统中的应用。针对应用Polar码在Massive MIMO系统中进行编码并检测解码问题,本文建立了基于Polar码的上行多用户Massive MIMO系统的检测模型,并提出了基于连续相消的逐位因子图算法,以线性的计算复杂度获得更优的BER效果和频谱效率,适用于对上行Massive MIMO系统中Polar码4QAM信号检测并解码。同时,本文提出了基于连续相消的半定松弛算法,在有限的多项式复杂度时间内获得更优的BER效果,并以更低的最小平均接收SNR收敛到理论频谱效率,适用于基于Polar码16QAM信号和64QAM信号等高阶QAM信号的上行Massive MIMO系统。与此同时,本文指出了用户间Polar码信号的非正交性,并给出了在过载的条件下,基于连续相消的半定松弛算法对Polar码信号检测解码可以获得的较优的BER效果和频谱效率,为5G时代的忙时处理又提供了一条解决方案。