大规模三维多输入多输出(3 Dimensional Massive Multiple Input Multiple Output,3D Massive MIMO)技术通过在基站端部署大量天线,引入垂直角维度,大大提高了无线通信系统性能,已经成为5G通信中的关键技术。为了进一步提高系统容量,降低系统复杂度,本文研究了FDD系统下基于码本的有限反馈预编码方案,具体研究工作如下:第一,本文提出了基于有限反馈的大规模3D MIMO系统两维混合预编码方案。当基站配备均匀面阵时,在信道垂直拓展角很小的情况下,多径Saleh Valenzuela毫米波信道可以近似Kronecker分解,使之分解为两个低维度信道矩阵的Kronecker积。在信道近似Kronecker分解的基础上,分别在水平、垂直维度进行反馈准则的设计,达到降低系统复杂度的目的。仿真结果表明:在信道的垂直角度拓展较低时,二维混合有限反馈预编码算法具有较好的系统性能和较低的运算复杂度。且当天线数增加时,低复杂度的优势更加明显。第二,本文考虑将嵌套天线阵列应用到无线通信系统。嵌套天线阵列是阵列信号处理中的概念,本文考虑将其引用在无线通信环境中。当大规模3D MIMO系统采用二级线性嵌套阵列时,推导出其在多径Saleh Valenzuela毫米波信道下的信道模型。通过引入转换矩阵的概念,提出了一种新的有限反馈预编码系统结构。嵌套阵列产生的信道在转换矩阵的作用下可以转换成虚拟均匀阵列产生的信道,生成比其物理天线数目更多的虚拟天线元素。仿真结果表明:在配置相同数目的物理天线条件下,嵌套阵列在采用本文提出的有限反馈预编码方案下具有拥有远远优于均匀阵列大规模MIMO系统的系统性能。