多输入多输出(Multiple-Input Multiple-Output，MIMO)技术与正交频分复用(Orthogonal Frequency Division Multiplexing，OFDM)系统融合是实现充分利用空间资源、提高频谱利用率和对抗频率选择性衰落的一种有效途径，是未来新一代宽带无线通信系统的框架技术。本文首先全面介绍了MIMO-OFDM无线通信系统中信号检测和信道估计研究现状，并列出了目前该领域仍有待解决的一些基本问题，指出了本文研究的内容。本文的第二部分提出了通用结构的低复杂度、高检测性能的Chase检测算法。该算法使用线性检测判决可靠符号约减信号维数，并对消除这些可靠符号的残余信号采用列表型Chase算法检测，同时理论推导出线性检测均衡器分层计算比特LLR(Log-Likelihood Ratio)的表达式，获得好的性能和低的预处理复杂度。由于列表型Chase算法利用比特LLR建立候选错误向量列表，是基于最大后验概率的方法，因此获得更佳的性能和复杂度的折衷。针对传统V-BLAST(Vertical Bell Labs LAyered Space-Time)检测算法复杂度低，但检测性能与最大似然检测有巨大差距的问题，本文提出了一种改进的低复杂度、接近最大似然性能V-BLAST算法。该算法对V-BLAST最先检测层建立候选列表，并行对其他层采用低复杂度V-BLAST检测算法检测，获得了接近最大似然检测性能，但复杂度仅仅稍稍高于传统V-BLAST检测算法复杂度，并且该算法易于采用并行处理实现，是一种极具实用性的算法。本文接下来研究了分布式MIMO系统的接收基带信号模型，给出了一个简单的矩阵表达式。针对分布式MIMO系统中由于不同传输时延使得相干检测导引符号正交设计困难的问题，提出了一种基于子空间分解的盲信道估计方法，并对于提出的信道盲估计方法，进行了理论分析，得到了信道估计的方差矩阵和均方误差的闭式表达式，从而证明该方法是一种能达到最小约束CRB(Cramér-Rao Bound)的最优信道估计方法。本文最后提出了MIMO-OFDM系统中一种迭代信道估计和子载波间干扰(ICI)抑制的算法。针对宽带通信衰落信道表现为稀疏特性，利用OFDM时频特点，提出了在时域滤波，频域补偿的迭代信道估计方法，并设计一个频域滤波的ICI干扰抑制的方法，有效地消除了系统信道估计中噪声和干扰的影响，提高了信道估计的性能。该信道估计器可以由快速傅立叶变换(FFT)高速计算，是一种低复杂度、高性能的估计器。针对MIMO-OFDM系统中相干检测导引符号最优功率分配影响系统性能，且现有研究都没有考虑天线间相关特性和信道估计误差的影响问题，理论分析了OFDM系统中和相关MIMO-OFDM系统中导引符号最优功率分配对系统性能和容量的影响，推导出了最优功率分配闭合表达式或近似表达式。结果表明，相关性影响导引功率分配，但最优功率对相关性变化不敏感，存在一个宽的平稳范围。