大规模多输入多输出(Massive Multiple-Input Multiple-Output,M-MIMO)技术作为MIMO的延伸,天线规模增大到数十甚至数百根,可提高系统频谱效率、可靠性、吞吐量、能量效率,被公认为5G标准的核心技术之一。然而,天线数目庞大的M-MIMO系统中,信号检测算法的高计算复杂度成为其硬件实现的瓶颈。正是基于这样的背景,本文研究M-MIMO系统低复杂度的信号检测算法,以期实现复杂度和性能的良好折衷。主要研究内容如下:在天线规模不是很大,发送符号调制阶数高的场景,广度优先树搜索(Breath First Tree Search,BFTS)算法在检测顺序正确的情况下,可以较低复杂度找到准最大似然(MaximumLikelihood,ML)解。然而,寻找最优检测顺序具有指数复杂度开销。鉴于此,提出一种基于停止准则的循环树搜索算法,重复地对所有可能的顺序应用BFTS。由于它将检测所有顺序,故可以找到准ML解。显然冗余的迭代将增加复杂度,对此还提出了一个停止准则,当某次迭代已经找到准ML解时提前终止迭代,以减少迭代次数降低复杂度。在天线数目特别大的场景,消息传递算法(Message Passing Algorithm,MPA)可以实现近似最优检测。信道硬化现象是指随着信道矩阵H规模变大,HTH的非对角线元素相比对角线元素越来越小。将此现象运用到MPA中,提出一种基于高斯近似的MPA检测,可减少MIMO模型对应的因子图上节点个数,简化消息传递中消息的计算,大大降低复杂度。仿真表明,本文所提基于停止准则的循环树搜索算法以微小的性能损失换取复杂度的显著降低。而利用了信道硬化现象的MPA则在天线规模巨大的场景下,以接近线性检测的复杂度实现了远好于线性检测的性能。