随着人类工业科技的发展,智能手机等终端逐渐普及,人们对于通信的需求也愈发扩大,在新一代移动通信技术(5G)应用中,运用大规模MIMO系统来提高频谱利用率并提升系统容量。系统中多个用户之间由于共信道传输易产生较严重的干扰,用户分簇及预编码是干扰管理的有效手段,然而传统的全数字预编码需要大量的射频链路并且计算复杂度较高。近年来有学者使用局部线性嵌入等流形学习方法实现信道降维,本文针对大规模MIMO系统下行链路中的干扰进行分析,基于流形判别分析对用户分簇及混合预编码方法提出改进,具体工作如下:首先,针对大规模MIMO系统下的集群几何模型进行分析,为了降低多用户间干扰,使小区内各用户簇之间具备更强的可分性,基于流形判别分析的方法对大规模MIMO用户信道矩阵降维,使降维后的信道尽可能地保留信道全局特征,同时引入投影度量对传统的相似性度量函数作出改进,并据此提出了一种更有效的用户分簇算法,相对于传统的用户分簇方案,能更好的体现小区内用户与基站间的空间角度关系,以较低的计算复杂度得到更高的系统频谱效率。然后,为了进一步降低大规模MIMO系统各用户簇之间的重叠带来的用户簇间干扰及簇内干扰,在对用户分簇的基础上,提出了一种基于流形拟共轭梯度法的MMSE模数混合预编码算法,利用空域分离的模拟预编码设计平衡自传输和簇间干扰,再根据等效信道设计数字预编码以消除簇内干扰。仿真结果表明该算法能够一定程度上消除用户簇间干扰,使系统具有较高的频谱效率。最后,将小区间的干扰纳入考虑范围,为了抑制相邻小区间干扰,在信道降维和用户分簇的基础上,从降低信号泄露的角度出发,提出一种三层混合预编码方案。通过对本小区泄露到其他相邻小区的干扰子空间迫零,从而将多小区预编码问题转化至多个单小区的优化问题。仿真结果表明该方案在多小区协作预编码场景下具有较好的小区间干扰抑制效果。