本文主要研究异构网络中Massive MIMO (Multiple Input and Multiple Output)预编码算法的优化。分别提出了基于线性预编码的Massive MIMO混合预编码算法、基于软件定义网络(Software Defined Network, SDN)的异构网络架构、以及异构网络中抗层间干扰的Massive MIMO预编码设计方案。本文对Massive MIMO预编码技术的研究现状做了总结介绍,并对其中有着良好应用前景的混合预编码算法进行了详细描述。由此本文提出了基于线性预编码的混合预编码设计方案,将传统线性预编码与混合预编码的概念结合,在解除Massive MIMO物理限制的情况下维持一定的系统性能,并保持相应线性预编码的性能特性。本文继续研究了该混合预编码算法在异构网络中的应用问题。针对网络中存在大量无线资源管理的问题,本文提出了一种基于SDN的异构网络架构,用于对网络资源和用户信息进行集中化协调和管理。在该网络架构基础上,本文对Massive MIMO预编码方案进行改进,结合零空间算法,通过将预编码矩阵映射到受损用户信道矩阵的零空间上,消除低功率节点对其受损用户的干扰,从而达到缓解异构网络的层间干扰的目的。该算法有助于提高用户服务质量,改善系统性能。