Massive MIMO(Massive Multiple Input Multiple Output)大规模多输入多输出技术是4.5G和5G现代移动通信系统中的关键技术,它基于空间分集和空间复用的基本原理,来大幅度提高小区吞吐量和提升小区频谱效率。由于Massive MIM(O系统所依赖的集成天线复杂度高的原因,Massive MIMO技术成为现代通信行业研究的热点。本文针对如何提5G Massive MIMO系统提高系统容量的问题,提出一种混合预编码算法。Massive MIMO系统容量可以描述为非凸性求解过程,受用户连续信号串行干扰消除检测算法的启发,将求解系统总容量转化成求每个用户可达速率之和,最终最大化系统容量的求解可以通过最大化求每个子天线阵的速率来实现,由此本文提出了一种基于MMSE-SIC(Minimum Mean-Square Error-based Successive Interference Cancellation)的混合预编码算法;进一步对提出的MMSE-SIC混合预编码算法,通过采用矩阵的特征值分解法来代替矩阵的奇异值分解(SVD singular value decomposition)和矩阵求逆,降低了算法的复杂度。最后,对MMSE-SIC算法进行了系统容量仿真评估,仿真结果表明改进的低复杂度MMSE-SIC算法的系统容量接近传统全数字算法系统容量的90%,且算法复杂度也只是基于稀疏散射性算法的10%。通过仿真证明提出的MMSE-SIC算法既达到系统容量要求还大大减小算法复杂度,且具有较好的鲁棒性。