多输入多输出技术可以在不增加系统带宽的情况下成倍地提高系统的容量和频谱利用率，已经成为下一代移动通信系统的关键技术之一。但是这种技术在带来好处的同时也增加了接收端信号检测的难度，因此，在接收端设计性能好、复杂度低的MIMO检测器是MIMO技术的一个重要的研究方向。本文主要研究在多天线、高阶调制下低复杂度MIMO系统的检测算法。论文首先介绍了MIMO技术的发展历史和研究现状。然后对无线信道的传播特性、MIMO系统的信道容量、MIMO空时处理技术进行了介绍，并且对信道容量进行了仿真分析比较。接着分析了几种传统的检测算法，包括最大似然检测、线性检测、干扰消除检测、球形检测、K-Best检测，并进行了MATLAB仿真。最后针对适用于高阶调制的K-Best检测算法在路径度量计算和排序等部分复杂度较高的情况，将排序QR分解和简化的计算路径的策略应用于传统的算法中，得到了简化的K-Best检测算法以及预删减折叠K-Best检测算法。仿真结果表明，预删减折叠K-Best检测算法在多天线系统中，采用高阶调制(64QAM)，性能损失可以忽略的情况下，复杂度却降低了50%左右，有利于实际硬件的实现。