无线MIMO传输是现代移动通信的重要研究方向,随着天线技术的不断发展,MIMO技术的研究已逐渐从二维(2D)平面发展到三维(3D)空间,从中小尺寸MIMO发展到大规模MIMO。大规模3D MIMO传输技术可以充分开发垂直维度自由度,在三维空间内进行波束赋形,由此获得更高的空分复用增益。本文将面向新一代移动通信的发展趋势,探索高效的3D MIMO传输技术,着重研究3D MIMO传输的波束特征、FDD模式下的有限反馈3D MIMO传输及多用户调度技术,以及异构网络下基于大规模3D MIMO的协作波束赋形技术。论文主要工作和创新点如下：首先本文研究了多用户MIMO传输技术,重点对基于码本的多用户有限反馈系统进行了探究,详细分析比较了三种基于码本的有限反馈预编码方案,分别为一般反馈方案NFS,最优同伴配对BCP以及最优同伴群BCC。然后本文研究了3D MIMO的信道与码书设计。研究3D MIMO信道模型以及相应的天线阵列模型,并详细分析了三维码字以及三维信道的统计特性。MATLAB仿真结果表明3D MIMO信道的自相关满足第一类零阶贝塞尔函数；由绘制的三维码字的方向图可知,所研究的3D MIMO码本中的垂直码字控制仰角,水平码字控制方位角；并且三维信道和二维信道都具有空间稀疏性。接着本文研究了基于有限反馈的3D MIMO多用户传输方法。提出一种基于水平方向和垂直方向码字直积的3D MIMO码本设计方案,并重点提出两种垂直码本设计方法,然后研究基于码本的有限反馈方案以及有效的多用户调度策略。MATLAB仿真结果表明所提的垂直码本设计方案充分利用空间垂直维度,相对垂直DFT码本进行了更合理的垂直空间分割,更好地匹配了信道,显著提高了系统频谱利用率和吞吐量性能。最后本文研究了面向大规模3D MIMO的异构网络协作波束赋形方法。提出一种面向异构网络的协作波束赋形方案,通过宏基站侧分层预编码的设计有效解决异构网络的跨层干扰。此方案只利用宏微小区间统计信道信息的交互,通过动态关闭波束有效地抑制宏基站对微小区用户的干扰。并且本文将此方案在3D MIMO场景下进行了扩展。通过MATLAB仿真表明,当基站天线数足够多时,所提方案能有效解决异构网络跨层干扰问题。