下一代移动通信技术将要在移动环境下提供更高的数据传输，以满足人们对于多媒体业务的强烈需求。人们一般把下一代移动通信技术统称为B3G或者4G。目前有多种关键技术可以作为下一代移动通信系统的候选关键技术。为了支持比3G通信系统高十倍以上的数据速率，学术界普遍认为，OFDM技术是必由之路。在多天线，即多发多收(MIMO)的情况下，信道容量在高信噪比下近似与接收或者发送天线数的最小值呈正比，这在理论上为移动通信的高速传输指明了方向。因此，在被称作B3G或4G的下一代移动通信系统中，MIMO-OFDM技术被普遍接受为物理层的框架。在中国FuTURE项目以及欧盟WINNER项目中，以MIMO-OFDM为物理层基础的下一代移动通信系统的研究正在如火如荼的展开。 本文的工作基于国家863重点项目，围绕MIMO-OFDM技术展开，对MIMO接收机设计和优化以及信道估计和信噪比估计误差对于MIMO-OFDM系统性能的影响等进行了深入的研究。 本文第一章首先回顾了移动通信的发展历程，介绍了3G技术的进展以及B3G或4G的发展现状，重点分析了目前B3G或4G的物理层存在的问题和难点，为接下来的论叙提供了研究背景。 第二章首先给出了研究使用的系统框架，接着概述了已存在的一些MIMO接收算法。重点论叙了基于格缩减(Lattice Reduction)的线性检测算法的优缺点。基于该算法，本文提出了两种改进算法。一种称作判决反馈辅助的基于格缩减的线性检测算法。仿真表明该算法能够明显改善采用迫零(Zero Forcing)准则的基于格缩减的检测算法性能。另一种称作基于格缩减的列表检测。仿真表明，该算法能够以较低的复杂度在高信噪比以及采用MMSE准则的情况下逼进最大似然(Maximum Likelihood)的性能。 第三章利用EXIT图分析迭代MIMO检测的收敛性能，同时提出利用EXIT图分析法对迭代检测算法进行优化。EXIT图分析法的好处在于能够分别研究每个检测或者译码算法的收敛性能。本文利用EXIT图分析了列表球译码中列表大小对迭代检测收敛性的影响。第三章同时给出了如何利用EXIT图将列表球译码(List Sphere