在MIMO-OFDM系统中,信号检测算法的性能和复杂度对整个通信系统的可靠性和实时性有很大的影响。一般具有优异检测性能的信号检测算法复杂度较高不适用于实际应用。因此研究具有最优检测性能且复杂度适中的信号检测算法是MIMO-OFDM接收系统设计的关键。另外,在系统的接收端只有对信道的精准估计才能有效地消除信道对发送信号的干扰,因此信道估计是MIMO-OFDM系统接收的重要技术之一。在MIMO-OFDM系统中,信道估计和信号检测一般是相互独立的。由于信道状态信息的获得只取决于训练序列,若信道估计精度过低,必然导致系统的误码率急剧升高。同时,大多数信号检测算法均是针对没有信道编码的无线通信系统,检测一般采用硬判决,算法没有有效的利用信道译码输出的有用信息。因此将信道估计、信号检测、信道译码通过迭代技术联合起来可有效地提高MIMO-OFDM系统的整体性能。论文针对MIMO-OFDM系统中的联合信道估计、信号检测和信道译码技术进行了深入的研究,主要研究成果如下:首先,研究了 MIMO-OFDM系统结构、最优导频设计方法以及辅助导频下的信道估计算法,给出了相应的理论分析。在此基础上针对多输入多输出正交频分复用系统的盲信道估计算法存在收敛速度慢以及使用奇异值分解复杂度高等问题,提出了一种基于改进子空间的MIMO-OFDM半盲信道估计算法。算法首先利用快速数据投影方法替代奇异值分解跟踪噪声子空间来估计信道状态信息,然后利用训练序列对信道进行校正,以解决一般盲信道估计算法存在模糊矩阵问题,提高了信道估计算法的精度。仿真结果表明该方案具有较快的收敛速度且降低了运算复杂度,是一种实用的半盲信道估计方法。其次,研究了分层空时编码、经典的MIMO系统信号检测技术,并对其进行相应的理论与仿真分析。在此基础上将量子搜索算法引入检测系统并对其进行改进,实现了一种理论上复杂度较低的改进量子搜索信号检测算法,仿真结果表明该算法能够逼近最大似然检测算法的检测性能,且系统复杂度有了明显改善。针对球形译码算法初始半径的选取和最终输出判决问题,提出了一种适合高信噪比的改进球形译码检测算法。针对基本粒子群优化信号检测算法易于陷入局部极值和收敛精度较低的问题,提出了一种适合低信噪比的改进粒子群优化信号检测算法。算法结合遗传算法的杂交技术和极值扰动机制,对基本粒子群优化算法进行改进。仿真结果表明该算法有效地提高了系统的信号检测性能,有较强的全局搜索能力,是一种实用的信号检测方法。然后,对期望最大化算法及其扩展进行理论研究。在此基础上提出了基于广义空间迭代期望最大化的时域和频域的信道估计算法,并结合信号检测理论,针对采用期望最大化算法存在收敛速度慢等缺陷,提出了一种基于频域的SAGE-ISD联合信道估计检测算法。方案主要采用了线性最小均方误差信道估计对信道进行初估计,并利用联合迭代技术结合广义空间迭代期望最大化算法和改进球形译码检测算法对信道进行估计校正和信号检测,从而提高了系统的可靠性。针对时域上最大似然检测算法难于硬件实现以及传统的信道估计性能较差等缺陷,提出了一种基于时域的SAGE-IPSO联合信道估计检测算法。该方案使用训练序列进行信道初估计,利用广义空间迭代期望最大化算法对信道估计值进行校正,并结合改进的粒子群优化算法完成对信号的迭代检测,使系统性能得到改善。仿真结果表明两种方案能以较少的迭代次数完成信道的精准估计和数据检测,检测性能与理想信道估计下的最大似然检测算法相接近。最后,对信道编译码算法和软输入软输出信号检测进行理论研究。在此基础上针对传统的MIMO-OFDM接收机中信道译码、信道估计和信号检测各自独立工作带来的误码率较高的问题,提出了一种改进的迭代联合接收方案,该方案充分利用译码器提供的软信息进行联合信道估计与信号检测,仿真结果表明所提方案显著提高了系统的性能。