近年来,大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)被认为是未来提高无线通信系统容量和可靠性的关键技术之一,受到来自学术界和工业界广泛的关注。大规模MIMO技术能够充分挖掘利用空间资源,达到复用时频资源、增强信号、抑制干扰的目的,可以有效的提高系统频谱利用率和功率效率。然而,大规模MIMO的实现面临着一些挑战。首先,主要挑战之一是基站端信道状态信息获取困难。对于频分双工(Frequency Division Duplexing,FDD)系统,由于下行训练成为瓶颈,并且随着基站天线数和用户数增加时,瞬时信道状态信息(Channel State Information,CSI)的反馈将会产生巨大开销。利用统计信道状态信息进行系统设计是克服这一困难的有效可行方法。大规模天线阵列的部署是另一个主要挑战,基站端部署的天线数受基站空间限制,若采用传统的均匀线性天线阵列(Uniform Linear Array,ULA),需要占用大量空间,难以实现。克服这一困难的一种有效途径是将天线部署在二维区域,称为全维MIMO(Full-Dimension MIMO,FD-MIMO)或三维MIMO(Three-Dimension MIMO,3D-MIMO)。因此,本文针对基站部署二维均匀平面天线阵的FD-MIMO系统,研究利用统计信道状态信息的自适应传输及干扰协调方法。首先,针对在基站端部署二维天线阵列的FD-MIMO单小区系统,介绍了利用统计CSI的下行自适应传输方案及用户调度方法。利用Mullen不等式得到用户平均信漏噪声比(Signal-to-Leakageand-Noise-Ratio,SLNR)的一个简单闭式下界,在最大化用户平均SLNR下界的准则下,得出基站应选择最强水平特征方向或者最强垂直特征方向正交的用户进行服务,进而得到一种低复杂度的三维(Three-Dimensional,3D)预波束赋形空分多址传输方法。仿真结果表明,当瞬时CSI质量较差时,仅利用统计CSI的3D预波束赋形传输方法的性能可与迫零(Zero-Forcing,ZF)和匹配滤波(Matched Filter,MF)预编码传输方法相比,甚至更优,且对于FDD系统,所需要的反馈开销更低。其次,针对宏蜂窝基站配置大规模二维天线阵列而微蜂窝基站配置一般天线阵列的异构网络(Heterogeneous Networks,HetNets),研究了仅利用统计CSI的下行传输方案和层间干扰协调策略。首先推导得到宏蜂窝用户信干噪声比(Signal-to-Interference-Plus-Noise-Ratio,SINR)的一个简单近似表达式和微蜂窝用户平均SINR的一个闭式下界。然后,在最大化宏蜂窝用户SINR近似表达式的准则下,将FD-MIMO同构网络中的3D预波束赋形空分多址传输方法推广至异构网络。在此基础上,利用所得宏蜂窝用户SINR的近似及微蜂窝用户平均SINR的下界,得到仅利用部分统计CSI的层间干扰协调方法。进而,推导出基于3D波束赋形的异构网络中宏蜂窝用户和微蜂窝用户遍历速率的闭式近似表达式。仿真结果表明所提出的下行传输方法和干扰协调策略可以较好的平衡宏蜂窝和微蜂窝的性能。最后,针对多小区FD-MIMO系统,研究了平衡用户公平性及可达速率的多小区下行传输和干扰协调方法。首先,将3D预波束赋形传输方法推广至FD-MIMO多小区下行传输系统中的各小区,并为每个用户引入优先级。从而,得到基于优先级的3D波束成型下行传输方法,提高用户公平性。进而,利用各用户统计CSI将各小区内用户划分为中心用户和边缘用户,并仅对边缘用户进行干扰协调,从而降低小区间信息交互量及复杂度。在此基础上,利用平均干扰与信号比的闭式下界,提出综合利用优先级及统计CSI的简单干扰协调策略。所提方法复杂度低,所需反馈开销及信息交互量小。仿真结果表明所提出的下行传输方法和干扰协调策略有效提高了边缘用户速率及平均用户速率,且具有较好的公平性。