由于无线Internet及移动多媒体数据业务的应用越来越广泛，需要传输的数据量大大增加。而无线频谱资源非常有限，传统的单天线通信技术远远不能满足需要。利用多天线的空间资源被认为是一个具有很大潜力的待开发资源。 在移动通信系统中，MIMO系统利用多个天线进行发送和接收信号能够增加信道容量，并且在使用相同的总功率和带宽的条件下与SISO系统相比它有着极高的频谱利用率。理想条件下，MIMO系统容量随天线数目线性增加。目前，MIMO技术已成为第三代及未来移动通信系统实现高数据速率、高传输质量、高系统容量的关键技术之一。MIMO技术可以应用于实际系统的关键因素是其检测算法性能的好坏和运算复杂度的高低。寻找高性能低复杂度的检测算法一直是MIMO领域的重要研究方向。 分层空时码技术利用多个发送天线和多个接收天线并行地传输多个信息流，能够充分利用多天线系统的容量而满足用户对高数据速率的要求。空时分组码利用多天线所带来的冗余进而提高数据传输的可靠性。本课题的研究重点是3GPP标准增强型中的分层空时结构(BLAST)以及空时分组码性能。 在平坦衰落环境中，MIMO系统的检测技术主要包括两类：最优及次最优方案。最大似然检测是最优的检测方法，但是在实际应用尤其在高阶调制和多天线系统中它的复杂度极高。因此，近似最大似然误码率性能但是复杂度比它低的检测方案成为研究热点，比如：球形译码和次最优检测方法。本课题首先研究了最大似然检测及球形译码，接着从迫零(ZF)检测和最小均方(MMSE)检测出发，研究了串行干扰消除检测(SIC)，最后将仿真得到的性能加以对比及分析。 论文全文共分三部分。第一部分简要介绍了MIMO系统的研究概况。第二部分详细介绍了分层空时结构(BLAST)，并对检测算法(ZF/MMSE/串行干扰消除)作了分析和仿真。最后，对MIMO系统中的球形译码算法进行了研究。本文提出了一些改进的方法，所提方法为Schnorr-Euchner搜索策略和Best-First的检测方法重排接收信号以减少搜索过程的计算复杂度，而以接收信号到最小均方误差(MMSE)估计值的距离作为初始半径，可以避免“空球”现象。所提算法在低信噪比时能显著降低计算复杂度。