正交频分复用(Orthogonal Frequency Division Multiplexing, OFDM)技术因其频谱利用率高、对信道多径时延抵抗力强等诸多优势而成为各种无线通信常用技术。如何有效地提高系统频谱效率和链路质量已成为当今无线通信系统设计的一大挑战,其中一条有效的解决途径是在系统的收发两端均配置多根天线来发送和接收信号,即组成多输入多输出(Multiple Input Multiple Output, MIMO)系统。MIMO系统可以很容易实现无线信道的容量增益并获得无线信道的多维分集增益。OFDM技术和MIMO技术已成为当今先进无线传输技术的两大基石。如何在快衰落信道环境下实现正交频分复用系统的高效调制并同时降低实现的复杂性,是当前正交频分复用技术研究的热点之一。针对相干正交频分复用系统,研究者们已提出大量的解决方案。但是,目前的解决方案存在综合性能不高的问题。现有的MIMO多天线传输系统虽然具有明显的优势,并已被新一代无线通信系统的主流协议所采纳,但其本身仍然存在一些问题。例如现有的多天线都安装在基站端,而移动终端则很难配置多天线。鉴于如上所述,本文对正交频分复用的调制与解调问题进行了完整的和系统的研究,希望籍此分析改善相干调制技术的一些不足。并利用经典的四元数理论,对空时分组码进行了扩展性研究。所做的主要工作如下:首先,在时变多径信道环境下本文推导得出了正交频分复用差分系统的信道间干扰功率理论表达式,还分别推导出正交频分复用中三类系统的有用信号功率与信道间干扰功率之比的理论表达式。其次,研究分析了正交频分复用差分系统的信道干扰问题,得出信道中的多径延时干扰可引起星座图的同相位偏移,在系统的解调端,利用简单的相位估计得出同相位偏移量,并进行相位纠正。据此本文提出了一种新的针对正交频分复用差分系统的干扰噪声相位纠正解调方案。之后,由前面得到的正交频分复用系统的信道干扰分析结论,本文进一步提出了一种新的协同频域差分调制与解调方案。该方案在可获得信道延时的先验知识的前提下,同过选择不同的协同差分调制长度进行正交频分复用调制;在不增加企图实现复杂度的情况下,充分利用系统各参数的设计,正交频分复用差分系统在时变多径信道环境下的抗干扰性能得到有效提高。因此在强延时、快时变的衰落信道下这种协同频域差分调制与解调方案可以得到很好的利用。最后,基于天线的极化分集特性,利用四元数正交设计理论,在空时分组码中融入天线极化维资源,提出了一种新的三极化正交空时极分组码,该码字满足正交设计关系,可采用最大似然检测进行解码。与同条件下的经典空时分组码方案相比较,本方案可以更加有效地降低误码率,提高系统性能。