随着移动通信系统的不断发展，能够支持更高数据传输率的新一代移动通信系统(Beyond3G或4G)已成为研究的热点。MIMO和OFDM两者相结合，充分利用了时间，频率，空间三种分集技术，能够大大提高系统容量和传输速率，并能有效地对抗衰落、抑制干扰和噪声，现已成为第四代移动通信的热点技术。 本文基于IEEE802.16e标准，研究了MIMO-OFDM系统的差分空时编码技术，主要分为四方面： 首先，研究并分析了基于QDPSK调制的OFDM系统的性能，比较了其在不同的信道环境下的性能，研究了保护间隔对它的影响，分析了信道时延扩展对频域差分调制的影响以及信道多普勒频移对时域差分调制的影响。 其次，研究了采用差分空时分组码的多天线OFDM系统。介绍了差分空时分组码的编译码原理，比较了该系统在不同的子载波数，不同的多径信道以及最大多普勒频移下的性能，仿真结果表明系统性能随着子载波数及信道数的增加而提高，随着多普勒频移的加剧而变差。 由于差分空时分组码技术有一定的局限性，进一步对MIMO-OFDM系统中的差分酉空时调制技术进行了研究。 将差分空时调制技术直接应用到每个子载波的相邻OFDM符号间，这种架构更加适合于频率选择性信道，并与传统的每根天线单独的进行OFDM调制的系统的性能进行了比较，仿真结果表明，前者能更有效的抵抗时间选择性衰落的影响。 特别地，本文根据分集增益最大化准则，提出了一种新的信号星座参数的搜索方法，它将信号星座参数的搜索空间从整数范围扩大到小数范围，可得到更好的编码，并通过数学计算证明该方法设计的酉空时星座参数在理论上比以前的整数星座参数有更大的分集乘积，并通过在不同的多普勒频移和不同的数据速率的情况下的性能仿真，证明了该方法的性能优于以前所采用的整数参数的设计方法。 最后，对MIMO-OFDM系统中的差分空频调制技术进行了研究。根据OFDM系统的时频对偶性，将差分酉空时调制应用到MIMO-OFDM系统的相邻子载波之间，通过仿真和性能比较发现，该技术比差分空时调制更能抵抗快速移动所引起的时间选择性衰落的影响，但受到多径时延的影响较大。