多输入多输出(Multiple Input Multiple Output, MIMO)技术通过充分利用空间资源以提高系统容量，但同时也增加了接收端信号检测的难度，因此如何设计性能较好且复杂度更低的检测器是MIMO技术的一个重要研究方向。本文首先分析和研究了空间复用MIMO系统中几种经典的检测算法，包括最优检测(ML)、线性检测(ZF、MMSE)和干扰消除检测(SIC)，然后通过MATLAB仿真分析了各个算法的优缺点。之后介绍了树搜索检测算法的基本理论，并分两章分别对树搜索的两种基本算法——广度优先树搜索算法和深度优先树搜索算法进行了深入的研究。针对经典的基于广度优先的QRD-M算法提出了一种基于提前终止策略的改进算法，并在此基础上提出了一种固定复杂度的QRDM-OSIC算法；针对经典的基于深度优先的SD算法在给出了一种初始半径选择方法后，提出了一种基于快速收缩函数的改进算法。仿真表明，改进的算法较好的实现了预期目标：在保持算法性能的同时有效的降低算法的计算复杂度。