多输入多输出(MIMO)技术可以提高移动通信系统的信道容量和传输可靠性,是下一代移动通信系统的关键技术之一,但同时也产生了接收信号检测复杂度的问题,因此研究MIMO系统信号检测技术具有重要的研究价值。本文主要研究MIMO系统信号检测算法,重点研究了应用广泛的球形解码算法,并提出改进算法,取得计算复杂度和误码率性能的折中。本文首先简单介绍了无线信道模型及其衰落特性,随后介绍了MIMO系统模型,接着比较了几种传统MIMO系统检测算法。然后重点分析了球形解码算法,其误码性能逼近最大似然检测算法,复杂度比起最大似然检测算法却得到显著的降低,而且明显优于传统线性检测算法。但是常规球形解码算法不能适用于发送天线大于接收天线的MIMO系统,已有的四种广义球形解码算法虽然能克服常规球形解码算法的不足,但复杂度仍然较大。于是本文分析了能进一步降低复杂度的λ-GSD算法,其误码性能逼近最大似然检测算法,能够直接适用于任意信号星座而不用通过变换。本文提出了一种联合检测算法,先用传统检测算法检测可靠性高的符号,简化部分搜索过程,再用λ-GSD算法检测剩余符号。仿真结果表明了该联合检测算法检测性能趋近于λ-GSD算法,计算复杂度有了显著降低。最后分析了适用于检测压缩采样信号的球形解码算法,它能同时利用有限字母约束下的稀疏信号的稀疏特性和有限字母约束特性。但是该算法现有的初始半径选取方法会带来复杂度高或初次搜索失败的问题,针对这个不足,本文提出了一种基于正交匹配追踪算法的初始半径选取办法,利用正交匹配追踪算法的结果来确定合适的初始半径,仿真结果表明改进算法在计算复杂度上的优势。