最近数十年见证了移动通信系统的迅速发展。随着用户数的大规模增加和业务量的爆炸式增长,特别是近年来数据业务量的显著增长,移动通信系统需要进一步提升其传输速率和频谱效率,特别是对于下行链路。为满足这些需求,下一代移动通信系统引入了许多增强型MIMO技术,包括高阶MIMO预编码技术和增强中继传输技术。随着高阶MIMO的应用,例如在LTE-Advanced中基站配置8天线,传统的ULA阵列面临空间复用增益与天线阵列尺寸之间的矛盾,已经不再适合；相对而言,具有两个相互垂直的极化方向的双极化天线阵列能够很好地解决这一难题,并且已经被3GPP视为下一代移动通信系统的配置之一。另一方面,在实际通信系统中,发送端获取精确的信道状态信息是很困难甚至不可能的。因此,基于有限反馈,特别是基于码本的,采用双极化天线阵列的高阶MIMO预编码是当前的研究方向之一。在小区的边缘位置,用户接收的基站信号相对较弱,且受到的干扰增加,导致SINR值较小。这使得边缘用户的通信质量不能令人满意；而下一代移动通信系统中数据业务的增长会使得用户对SINR有更高的要求。在小区中部署中继节点,是解决这一问题的有效方法之一。如果中继节点配置多天线,则它可以像基站一样进行预编码操作；再如果中继系统中的各个节点能进行联合预编码设计,则会进一步改善用户的通信质量,进而提高整个系统的频谱效率。因此,中继系统的联合预编码设计也是当前的研究方向之一。本文主要研究了下行MIMO传输中的若干增强型技术,主要创新工作包括以下三个方面：第一,针对高阶MIMO,提出了双极化天线的码本设计方案。在这一部分中,首先,研究了SCM/SCME模型中双极化MIMO信道的数学表达式,利用矩阵理论对其右奇异向量／矩阵进行了分析,找出了这些向量／矩阵的结构特点,为码本设计提供了理论依据。已有工作对双极化MIMO信道的分析仅局限于LOS场景,而本文考虑更为一般的NLOS场景,是对已有工作的增强和补充。然后,根据双极化天线码字的结构特点,修正了ULA阵列下的码字评价准则,使之适用于双极化天线阵列。最后,给出了一组基于DFT的、满足嵌套结构的码本设计实例,并对其理论性能和系统性能进行了分析和评估。第二,提出了单用户非再生中继系统的联合预编码设计方案。在这一部分中,首先,在目标节点采用最优接收机的假设下,对整个系统的MSE矩阵进行分析,将其分解为两个独立的、仅与本地CSI信息相关的MSE矩阵之和,从而将联合优化问题分解成为了两个独立的优化问题；而对于非线性系统,已有工作没有做过这样的分解。然后,分别求解这两个优化问题,求解出源节点和中继节点的最优解。接下来,基于高信噪比假设,推导出了仅依赖于本地CSI信息的目标节点的次优接收机。这样,源节点和目标节点都不需要全局CSI信息,并且所有节点都可以以非迭代的方式进行设计。最后是对所提出的方案的理论分析和仿真验证。第三,提出了多用户非再生中继系统的联合预编码设计方案。在这一部分中,首先,在中继节点采用最优接收机的假设下,对整个系统的MSE矩阵进行分析,将其分解为分别与源节点和多用户节点有关的两部分。与单用户场景类似的是,将源节点的设计独立出来；不同的是,提出了一种迭代的中继节点一多用户节点联合设计方案。相比于传统方案,该联合设计方案的特点在于,源节点预编码器可以在仅获知本地CSI信息的情况下采用非迭代的方式完成设计,而中继节点和多用户节点的联合迭代也不需要源节点的参与。最后是对所提出的方案的仿真分析。