低密度校验码(LDPC)是一种优秀的信道编码方案。MIMO技术极大的提高了频谱利用率,在时域、频域、码域之外,实现了对空间域的利用,为无线通信系统容量的进一步提升提供了新的方向。将LDPC码与MIMO相结合,研究它们之间的迭代检测技术对系统性能提升有很大的帮助。本文首先介绍了无线衰落信道模型,分析了瑞利衰落信道下的性能,介绍了对抗衰落的基本分集技术,介绍了MIMO系统的基本原理和常用结构。由于VBLAST结构的MIMO系统结构简单,能够方便的进行空间复用,提高系统的吞吐量,因此以它作为研究对象,研究了基本硬判决检测算法。然后研究了LDPC码的基本编译码算法,介绍了LDPC码的优化分析工具一外部信息转移图。由于双对角线结构的QC-LDPC码具有良好的结构,快速的编码方法,本文也以此为研究对象,研究了码的构造方法,详细的阐述了具体的构造流程。在相同的码参数下,构造得到的LDPC码的性能与标准中给出的码相比有0.2dB的性能提升。接着研究了MIMO的软判决检测算法,并且与LDPC码级联,进行联合迭代译码。MIMO的最优软判决检测算法复杂度很高,如何在系统可接受复杂度下得到尽可能好的性能是本章的研究重点。基于MMSE的软判决检测算法复杂度相对比较低,但是性能损失比较大。为了提高性能,在MMSE算法中引入了串行干扰消除。同时联合高斯分布近似(JGA)代替MMSE算法中的高斯近似,也可以进一步提高性能。由于MMSE和JGA算法中都存在大量的求逆运算,为了进一步降低检测复杂度,研究了相应的简化算法。在简化算法中引入了矩阵求逆的迭代运算、以及反馈信息可靠性排序等关键技术,很好的逼近了标准算法的性能。最后将前面的研究扩展到多径信道下,研究了基于MMSE高斯近似和联合高斯近似的多径信道软判决检测算法,将串行千扰消除的方式引入到码间干扰和天线间干扰的消除上。由于多径信道下,检测的复杂度随着多径数量的增加指数增长,在后面特别研究了相应的简化算法,给出了详细的算法流程。仿真结果表明,提出的简化算法可以大大降低检测复杂度,同时性能损失只有0.1dB。