为提高系统容量，实现高速可靠通信，下一代无线通信的研究热点主要集中在OFDM、MIMO、MIMO-OFDM、多用户检测等技术上，在B3G/4G移动通信系统中有着广阔的应用前景。本论文在国内外相关研究工作的基础上，针对MIMO/OFDM通信系统所涉及的信道容量理论、检测算法性能分析、信道估计和信号检测算法、峰均比抑制等若干关键理论与技术进行了深入研究，并对MIMO/OFDM中存在的一些问题提出了解决方案。 在MIMO信道容量理论方面，本论文的研究成果主要包括以下三个方面：1)研究平衰落信道下各态历经信道容量的理论基础，给出两种特殊MIMO信道容量表达式和在小信噪比下等收发天线系统的容量近似公式，简化了计算量，数值分析结果表明，其值比较精确：2)研究相关衰落下信道容量的优化方法。采用新的信道模型，推导最优协方差矩阵的一阶条件，给出了信道容量的上界，得到闭式解，并对相关信道下信号的传输模式进行讨论；3)研究存在发射相关的MIMO系统，采用线性ZF接收机时，各子数据流信噪比的概率分布，利用随机矩阵理论，推导信噪比概率密度函数公式，给出采用MPSK调制时，各子数据流误符号率的闭式公式。理论分析结果表明，对ZF接收机误符号率主要与发射相关矩阵逆矩阵的对角元素有关，在角度扩展较小时，发射相关对误符号率影响较大，而角度扩展较大时，其影响可以忽略。 在MIMO检测算法的性能分析方面，针对收发两端己知信道状念信息的MIMO系统，研究基于GMD算法的VBLAST系统空间分集与复用性能。在高信噪比下，推导该算法的分集与复用曲线，并与最优曲线和其它VBLAST方案的曲线进行了对比。结果表明该算法的空间分集与复用性能与最优曲线相比是次优的，但优于其它VBLAST方案。并首先将其推广应用到MIMO-OFDM系统。给出的研究方法为各种VBLAST方案的性能对比提供新的思路。 在MIMO-OFDM信道估计和信号检测方面，研究基于QR分解的几种信号检测算法，分析各种算法的优缺点，指出信号检测顺序是降低误差传播概率的关键；针对VBLAST算法计算量大的缺点，建议采用SQRD算法，降低VBLAST算法的计算量，并采用MMSE准则对该算法进行进一步推广，最后进行了仿真。为了降低MIMO-OFDM系统信道估计运算复杂度和提高估计精度，采用一种特殊的训练序列，给出了基于该训练序列的低复杂度算法，且在系统存在ISI时，信道的估计参数不会受到影响。该算法不仅保证了足够的估计精度，而且复杂度低，比较简单实用。 在峰均比抑制方面，研究基于Hadamard变换降低OFDM系统PAPR算法，采用该算法扩展传统系统的星座点，减小频域符号间的相关性，其PAPR可以比传统方法降低3-4dB，其编解码算法简便，易于实现，并且还可与其它方法联合使用，从而进一步降低PAPR。 最后是全文的总结，并指出了有待进一步的研究方向。