多输入多输出(MIMO)系统可以在不增加发射功率和带宽的条件下有效地提高信道容量和频谱利用率,因而在下一代移动通信和宽带无线接入系统中有广泛应用。其中垂直贝尔实验室分层空时(VBLAST)结构通过空间复用可以获得很高的频谱利用率,但是在该结构中发射端不采用分集技术,使得系统误码率增加,进而影响通信质量。为了解决这一问题,接收端采用性能优越的检测算法至关重要。本文研究了MIMO系统的关键技术——信号检测技术。论文涉及的具体内容如下：1.介绍了移动通信中的无线信道特性和分集技术,以及在平坦瑞利衰落环境下MIMO系统的基本模型和容量,并说明在丰富散射的传播环境下,信道容量与发射接收天线数目中的较小值成正比关系；2.研究分析了多种传统的接收端信号检测算法的原理、性能和可实现性,如最大似然检测,线性检测及基于排序和干扰消除的非线性检测算法和球形译码；3.针对上述传统算法性能和复杂度的不足之处,提出了两种基于半定规划的准最大似然算法,即PSK算法和SDR算法。这两种算法能在不同信道状况和信噪比水平下,均能达到较低的计算复杂度和准最优的检测性能。