大规模MIMO技术通过显著增加基站天线数,深度挖掘空间维度无线资源,极大提升系统频谱效率和功率效率,是应对5G的关键技术之一。相比于线性天线阵列,在基站端配置二维天线阵列可以在有限空间内安装更多天线,并实现水平和垂直两个维度上对用户的波束赋形,进一步提高系统性能。本文面向三维大规模MIMO多用户传输系统,针对信道状态信息反馈开销和计算复杂度过大的问题,采用稀疏降维的设计思路,重点研究其下行双层预编码技术。具体工作如下:针对用户数较少、信道正交性强的场景,根据大规模MIMO信道固有的波束域稀疏特性,本文提出一种基于波束选择的双层预编码方案。首先,基于统计信道信息进行波束选择以实现第一层预编码,可以在保证用户主要信道能量的基础上有效降低等效信道维度和反馈开销;然后,利用降维后的瞬时等效信道信息进行用户调度与第二层预编码,通过这些波束方向的线性加权来对准用户。该方案可以在保证多用户传输性能的基础上有效降低系统反馈量与复杂度。当用户数增多时信道正交性遭到破坏,用户间干扰严重,此时线性预编码性能受限,非线性预编码性能良好却复杂度较高。本文在研究信道空间相关性的基础上,提出一种基于联合空分复用的混合线性非线性预编码方案。首先,通过水平维和垂直维统计信道信息的相关性进行三维用户分组,各组进行第一层近似块对角化的线性预编码,最大程度地减少组间用户干扰并实现信道降维;进而,各组内利用瞬时等效信道信息调度用户,通过第二层非线性预编码尽可能降低组内用户干扰。研究结果表明,本文提出的混合线性非线性预编码方案可以在显著降低系统反馈量与计算复杂度的基础上获得优于现有多种多用户传输方法的性能。