发射机和接收机均采用多个天线的多输入多输出（MIMO）技术由于能显著提高系统频谱效率而成为未来高速无线通信系统的关键技术。采用何种发射信号形式和接收机去逼近MIMO系统容量已经成为一个新的挑战。在发射端采用比特交织调制编码（BICM），接收端采用迭代接收机是一种有效的逼近MIMO信道容量的通信方式。本文主要研究迭代检测技术在MIMO和多输入多输出－正交频分复用（MIMO-OFDM）系统中的应用，包括低复杂度和提高性能的软检测器设计；迭代接收机的收敛特性分析；MIMO-OFDM系统的迭代信道估计。首先，研究MIMO系统的迭代接收机。在MIMO迭代系统中，如何降低软检测器的复杂度是一个研究的热点。本文介绍目前广泛使用的几种检测器，分析并比较它们的复杂度和性能。然后，提出一种新的基于外信息更新的软检测器。与传统软检测器不同（仅利用信道译码反馈的外信息），它利用前一次迭代信道译码反馈的后验信息和本次迭代软检测器的外信息来加快接收机收敛速度，提高系统性能。其次，探讨MIMO-OFDM系统的迭代接收机。推导基于最小方差无偏（LMVU）估计的软检测器，提出一种基于信道分簇的软检测算法。该算法根据信道的时频相关系数，对时频信道进行分簇。在一个簇内，首先利用发射符号向量的协方差矩阵的频域均值代替它的瞬时值。然后，我们在一个簇内使用相同的LMVU权向量。该检测器显著降低系统复杂度而性能损失很小。在MIMO-OFDM系统中，软干扰抵消－线性最小均方误差（SIC-LMMSE）检测器需要计算LMMSE权向量，当天线数较多时，它的复杂度是很高的。为了降低复杂度，可采用软干扰抵消-匹配滤波（SIC-MF）的检测器。但是，它忽略天线间的剩余干扰，性能较差。针对现有SIC-MF和SIC-LMMSE算法的不足，提出一种软干扰抵消-比例匹配滤波（SIC-SMF）的检测器，将进入SIC-MF检测器的先验信息乘上一个比例因子，并通过外信息转移（EXIT）图优化比例因子。它的复杂度与SIC-MF检测器接近，性能却显著优于SIC-MF检测器。在OFDM系统中，循环前缀长度通常大于信道的最大时延扩展。本文利用循环前缀中未受干扰的数据，将其与OFDM符号数据相加，推导了等效的信号模型。基于该信号模型，设计了迭代接收机，其收敛速度更快，性能更优。然后，研究迭代接收机的收敛特性。在单天线非理想信道模型下，我们推导等效的条件高斯信道模型，给出BICM-ID系统的无差错反馈界。在接收相关MIMO信道中，我们推导迭代接收机的无差错反馈界，分析相关性对系统性能的影响。我们借助EXIT图分析检测器和译码器的外信息交换过程，得到一些有意义的仿真结果。最后，研究MIMO-OFDM系统的迭代信道估计。在迭代系统中，可利用信道译码的后验信息进行迭代信道估计，提高信道估计精度，降低误码率。我们提出一种基于软干扰抵消-最小二乘（SIC-LS）的迭代信道估计算法。利用软干扰抵消后的数据，采用LS算法估计每个发射天线对应的时域信道。由于软符号矩阵不是单位阵，LS算法需要矩阵求逆，复杂度较高，进一步本文提出一种低复杂度的SIC-LS迭代信道估计算法。仿真结果表明，它的性能与SIC-LS算法接近。