在不增加系统带宽和发射功率的前提下,多输入多输出技术(MIMO)可以显著提高无线通信系统的信道容量和频谱利用率,因而被认定为下一代无线通信的核心技术之一。MIMO系统的信号检测是MIMO技术得以实际应用的关键技术和重要环节之一。本文对MIMO系统的信号检测算法进行了深入研究,取得以下主要成果：针对串行干扰消除检测算法中存在误差传播和计算复杂度较高的问题,提出基于最大似然(ML)的串行干扰消除检测算法。该算法将信号检测分为两级,在第一级中进行多层ML检测,减少检测误差的产生,降低了误差传播的影响；增加冗余序列,提高下一级的检测精度；第二级采用排序QR分解检测算法,降低算法的计算复杂度。通过调节ML搜索的层数和冗余序列的个数,使算法在检测性能和计算复杂度间取得较好折中。针对宽度优先QRD-M检测算法计算复杂度较高问题,提出深度优先QRD-M算法。该算法先利用ML检测的穷举搜索特性,对根节点的各个分支进行穷举搜索并对度量值进行排序,然后从度量值最小的分支出发,进行深度优先检测,直到搜索到叶节点得到一条度量值较小的路径。以该路径的度量值为终止条件,对其它分支依次进行QRD-M检测,当有叶节点的度量值小于终止条件时,更新终止条件；当分支度量值超过此终止条件时,即退出搜索。通过终止条件的设置,大大缩小了算法的搜索范围,在降低算法计算复杂度的同时保持检测性能基本一致。针对QRD-M和深度优先QRD-M算法的时延问题,提出并行QRD-M检测算法。该算法对根节点的各个分支并行执行QRD-M检测,在相同的时间内搜索了更多的节点。因此,所提算法的检测性能显著提高,但复杂度也随之增加。为降低计算复杂度,提出基于ML检测的部分序列并行QRD-M算法,通过设置ML检测的层数和并行搜索序列个数,可以在检测性能和计算复杂度之间取得折中。为了使算法具有并行QRD-M算法的检测性能和深度优先QRD-M算法的较低计算复杂度特性,提出分组QRD-M检测算法。利用ML检测的最优检测性能,对P层信号进行ML检测,并对其度量值进行排序后,从中选择度量值较小的L个序列进行分组,使度量值最小的路径包含在第一组中的可能性变大；再对各分组依次进行深度优先QRD-M检测,以较少的计算量获得近似ML解。通过对这些可调参数的不同设置,可使算法在检测性能和计算复杂度之间进行折中,以满足不同的性能要求。Chase算法可以看作是现有检测器的统一框架,通过对框架中参数的不同选择,可使算法演变为串行干扰消除算法、并行干扰消除算法、树搜索算法等。针对Chase算法中存在误差传播现象的问题,提出基于SNR最大化准则排序的Chase检测算法。该算法修改了Chase算法中列表的生成方法,减小了检测误差的产生,通过对列表长度和子检测器的选择,Chase算法可演变为多种检测器,使Chase算法更具有通用性。