大规模MIMO(Multiple-input Multiple-output)技术作为5G关键技术之一,通过在基站部署大量天线来同时服务多个用户,以此提升频谱利用率和能量效率。然而,随着基站同时服务用户的数量增加,接收信号会变得复杂,对信号检测算法提出了更高的要求。本文通过对大规模MIMO系统的线性和非线性信号检测算法的研究,重点针对非线性检测算法中的消息传递算法和近似消息传递算法进行了分析和改进。本文的主要研究内容为:(1)消息传递算法是一种基于概率图模型的算法,其中高斯树近似(Gaussian Tree Approximation,GTA)算法适用于大规模MIMO系统的高阶调制。在大规模MIMO系统中,针对多用户通信干扰严重的问题,本文结合串行干扰消除思想对GTA算法进行了改进。首先改进的GTA算法利用高斯树分布去近似后验分布,解决了消息在有环图中的收敛性问题。其次在串行干扰消除时采用列范数的排序方法减少了误差传播,进一步提高了检测性能。经仿真验证,在用户数量和基站端天线数量相当的场景下,改进的GTA算法能明显提升检测性能。(2)近似消息传递算法具有结构简单和低复杂度的优势。为了进一步提高检测性能,本文通过结合基于大规模系统的近似消息传递传递(Approximate Message Passing base on Large System,AMP-LS)算法与分支优化MIMO检测技术,提出了基于分支优化MIMO检测器的AMP-LS(AMP-LS base on Branch optimized MIMO detector,B-AMP-LS)算法。首先,B-AMP-LS算法对传递的消息进行高斯近似,并在系统因子图中的节点之间传递消息的均值和方差。其次,B-AMP-LS算法通过在输出给SISO译码器的外信息所需要的先验信息中引入补偿信息,以此来提高检测性能。仿真结果表明,在用户数量和基站端天线数量相当的场景下,B-AMP-LS算法与AMP-LS算法均具有较低的复杂度,而B-AMP-LS算法的检测性能明显优于AMP-LS算法。