无线移动通信系统在进入3G/4G通信时代之后,无线通信的需求依然旺盛,而无线通信容量赖以增加的频谱和功率资源却倍显不足,因此亟需新的传输技术手段的更新与变革,以实现无线通信容量的迅猛增长。综合来看,在未来的无线通信系统中,为了进一步提高系统容量,必须有效地利用空间资源和网络资源。而多天线作为其中的一项关键传输技术,具备同时提高频谱效率和功率效率的双重优势,具有重要的理论和应用研究价值。本论文研究立足构建下一代乃至未来无线移动通信系统的增强传输技术为基本目标。特别针对多天线传输技术,通过选择两类典型的移动通信场景：多天线下行链路和双向中继网络,重点研究了增强闭环空时编码技术、空间调制技术和无线网络编码技术三部分研究内容,通过研究,提出了若干项增强的传输技术方案。主要工作与创新点简述如下：1.针对多输入单输出系统,从如何有效利用发射天线实现发射分集,提高系统的传输质量入手,基于码率为1的2天线正交空时编码,构建了一种广义的闭环扩展正交空时编码方案。通过选择码率为1的2天线正交空时编码可以保证编码码率不受损失,同时实现接收端的线性译码复杂度；通过闭环设计可以有效控制多个并发空时编码矩阵之间的相互干扰,实现阵列处理增益。进而,通过将闭环问题建模为一个可求解的凸优化问题,获得了最佳的发射加权系数。研究表明,新方案可获得满发射分集增益,同时相对于传统的闭环正交空时编码方案,获得了更好的阵列性能增益。而且,新最佳方案在实现复杂度和成本方面也具有优势,因为在任何一个发射时刻仅有一半的发射天线被选择发射。在获得最佳加权系数的基础上,又提出了具体的反馈码本设计方案,并详细仿真对比了不同反馈方案对系统性能的影响。结果表明,所提p比特反馈最佳方案与传统的p-1比特反馈GCC闭环方案相比,取得了1dB左右的性能增益,而反馈开销仅增加了一个比特。在天线数目较多的情况下,这1比特额外反馈开销将显得微不足道。作为4天线发射情况的特例,所提方案在同样的反馈开销下,与传统的幅度调整方案与相位调整方案相比,也获得了1dB左右的性能增益。结果还表明,反馈参数的相位对性能的影响要强于反馈参数的幅度,因此在维持同样反馈开销的情况下,最好用较多的比特反馈相位信息。总之,新型闭环扩展正交空时编码方案相对于传统方案在性能增益、实现成本与反馈开销方面获得了明显改善。2.针对多输入多输出系统,详细研究了空间调制的不等错误保护特性,并基于此构建了新型空间调制与网格编码空间调制技术方案。主要成果包括：1)研究发现空间调制的性能主要取决于天线之间的最小距离特性,以及调制符号之间的最小距离特性,而较少地取决于两者交联在星座空间呈现出的距离特性。因此基于天线域和调制符号域各自的距离特性分析,容易得到空间调制比特的不等错误保护性能。2)基于空间调制不等错误保护性能,并参考传统网格编码调制的集分割设计原则,给出了空间调制的集分割设计图样,并进一步提出了网格编码空间调制的设计准则,该准则与传统TCM的设计准则类似,但也存在本质区别,主要不同是由于空间调制是一种新的多维调制星座的自然结果。基于新的设计准则,我们设计了数种网格编码空间调制技术方案,理论分析与仿真结果表明,新方案具有优于传统方案的明显优势,尤其是在赖斯与相关衰落信道条件下。而且新方案具有对信道变化的鲁棒性,这是传统网格编码空间调制方案所不具备的。3)同样基于空间调制的不等错误保护性能,以及调制星座的集分割原理,提出了一种新型空间调制技术,该技术用一个扩大的调制星座承载一个空间调制符号的所有比特,其中用于天线选择的比特还用于选择调制星座的集分割子集,而剩余的比特用以选择子集中的星座点。通过采用Ungerboeck集分割,可以在尽力维持对应子集中星座点的比特性能不变的情况下,通过将天线选择比特再次映射到每个分割子集,提高天线比特的性能。研究表明相对于传统空间调制,新型空间调制在独立衰落信道下不具优势。但是在赖斯和相关信道下具有明显性能增益,尤其在星座集分割所带来的性能损失很小的情况下,如采用PSK星座进行分割,或者采用QAM星座进行分割,而分割子集所含星座点个数大于4的情况。值得注意的是新型空间调制与传统空间调制相比,译码复杂度相同,只是在发射端增大了比特到符号调制的映射选择数,而这个过程可以通过简单的查表即可获得,所以在实现复杂度上,两者几乎没有差别。因此新型空间调制是赖斯和相关信道下的一种优选方案,可以用在未来的大规模天线系统或光通信系统中,因为在这类系统中,很难做到天线阵子之间的相互独立,而在光通信中,直射分量往往占据较大成分。3.针对双向(Two-way)中继网络,研究了物理层网络编码与调制技术。1)在中继节点采用多天线配置的情况下,研究了基于最大似然准则(ML)的物理层网络编码方案,该方案可直接产生对应于两个接入用户信息按位异或所形成比特的对数似然比信息,当两个用户采用相同的信道编码方案时,该软信息可直接作为信道译码器的输入；分析了所提物理层网络编码在中继节点的平均错误性能,获得了其平均比特错误性能的上界闭式表达,实验结果表明该表达式可以很好地评估所提物理层网络编码在各种调制方式下的性能。结果还表明所提方案可以获得满接收分集增益(Nr阶,Nr为接收天线数),优于传统先进行ZF或MMSE译码然后再进行信息比特异或的网络编码策略,那里它们仅能获得Nr-1阶分集增益。因此,在中继节点天线数目配置较少的情况下,基于ML译码原则的中继网络编码方案明显优于先进行ZF或MMSE译码然后再进行信息比特异或的网络编码策略。另外,在所提网络编码方案中,Max-Log近似算法几乎提供与ML算法相同的性能,因此可作为实际通信系统中的优选方案。2)针对非对称广播传输中的广播瓶颈问题,基于比特异或的物理层网络编码,提出了一种改进的矩形QAM星座嵌套映射机制。该机制通过一个大的信号星座传送信道质量较好的信号,而通过大信号星座的子集传送信道质量较差的信号,两者通过网络编码嵌套在一起。研究表明,基于传统UP分割进行星座嵌套的机制并不是最佳方案,新方案通过改进基于UP分割的星座嵌套机制,获得了性能的提升。该结论对进一步研究物理层网络编码、信道编码以及调制技术等方面的联合优化设计具有重要的指导意义。