现代无线通信系统对数据传输速率和服务质量要求日益提高,使得急切需要新技术来提高频谱利用率和链路稳定性。在发射端和接收端都采用多天线的多输入多输出(MIMO)系统现在被广泛认为是能够使得通信系统在有限的带宽和功率资源前提下获得高数据传输率的突破技术。本文主要研究面向未来无线通信应用的MIMO系统中垂直分层空时码(VBLAST)的检测算法,包括最大似然算法(ML)、迫零算法(ZF)、最小均方误差算法(MMSE)、最小二乘算法(LS)、QR分解算法以及球译码算法(SD)。ML算法性能最优,但其复杂度与发射天线数和调制阶数成指数关系,因此在实时系统中,这不是一种很实际的解码算法。排序串行干扰抵消算法(OSIC)复杂度相对ML算法复杂度低,但需要多次对信道矩阵求伪逆。LS算法复杂度比OSIC低,且性能与OSIC算法相同,因此本文着重研究LS算法,主要完成了以下工作：首先针对LS算法采用了一种新的确定符号检测顺序的方法-最大后验概率(MAP)规则,并与传统的以信噪比(SNR)确定符号检测顺序的算法进行了比较,仿真结果表明在一定条件下性能接近最优的ML算法,而复杂度仍然保持LS算法相对较低的特点。再次针对LS算法存在误码传播的缺点,进行了一定改进。因为系统整体性能主要取决于首先检测的数据流,所以应尽量提高此数据流的准确性。具体就是在检测第一个数据流时根据欧氏距离选择多个侯选符号,然后代入迭代公式求出多个向量,最后对这多组向量运用ML算法。仿真表明该方法的有效性和可行性。