多输入多输出(Multiple-Input Multiple-Output,简称为MIMO)技术是5G通信中的关键技术之一。因采用多输入多输出天线传输,所以提高了通信系统的频谱利用率以及数据传输速率。但是随着天线数量的增多,不同天线间信号受到的干扰也会增多。为了保障传输信号的可靠性,需要设计一种更好的信号检测算法。好的信号检测算法与它的检测性能和复杂度均密切相关,提升已有信号检测算法的性能或降低算法复杂度对保障通信系统的传输意义重大。本论文对MIMO系统中的信号检测算法进行研究,主要工作内容如下:首先,在传统的信号检测算法中,球形解码(Sphere Decoding,简称为SD)算法的检测效果接近最大似然(Maximum Likelihood,简称为ML)算法的检测效果,但其运算量较大。对此,有人研究了压缩因子控制并结合最小均方误差(Minimum Mean Squared Error,简称为MMSE)思想的SD算法,该算法虽然降低了SD算法的复杂度,但在十六进制正交振幅调制(Quadrature Amplitude Modulation,简称为QAM)调制时增加了算法的误比特率。为了改善算法的误比特率,本文在该算法基础上提出了一种改进算法,它先用常系数来调整扩展信道矩阵中的噪声大小,再对这个扩展信道矩阵采用SD算法检测。仿真结果表明改进算法在16QAM调制时基本上没有影响算法的复杂度,并且降低了算法的误比特率。其次,针对基于移位和幅度变换判决的LLL-MMSE算法复杂度较高的情景,本文在该算法基础上提出了一种改进算法,它先对LLL算法进行了优化,并用优化后的LLL处理信道矩阵,再对处理后的信道矩阵采用MMSE检测。仿真结果表明改进算法可降低算法的复杂度,同时对检测性能的影响很小。最后,为了减少基于MMSE准则的排序QR分解(Sorted QR Decomposition,简称为SQRD)结合并行干扰消除算法(Parallel Interference Cancellation,简称为PIC)在检测过程中产生的误差,本文在该算法基础上提出了一种结合ML思想的改进算法,根据ML思想,改进算法可选择拥有最小欧氏距离的检测信号。仿真结果表明改进算法提高了算法的检测性能,且对复杂度的影响可以忽略不计。