随着多媒体业务与智能终端的快速发展,人们对于移动通信业务的传输速率的要求也越来越高,传统的技术已无法满足这一需求。因此,大规模多输入多输出(Multiple Input Multiple Output)技术成为当前研究的热点,是5G的核心技术之一。大规模MIMO系统中的天线阵列数量与传统的MIMO系统相比,其规模达到了几十甚至上百,这意味着无线信道的空间自由度更大,其稳定性与传输速率也就更高。然而,在大规模MIMO系统中,受频率选择性衰落、阴影衰落等的影响,无线信道具有很大的随机性,而准确的信道状态信息(Channel State Information)是分析一个无线通信系统的关键基础,因此对于信道估计技术的研究具有重要的现实意义,本文主要研究大规模MIMO系统中基于导频的信道估计技术。受庞大的天线数量影响,在大规模MIMO系统中,不仅信道估计的难度变得更大,而且导频污染的现象也更加明显,这极大地影响了信道估计的准确性。本文研究了大规模MIMO系统中一种基于机器学习理论的信道估计算法。通过将信道增益建模为高斯混合模型(Gaussian Mixture Model),并将其变换到波束域,可以发现其具有近似稀疏的特性,这样,贝叶斯压缩感知(Compressed Sensing)技术得以应用。然而直接计算贝叶斯估计会面临复杂的多重积分问题,由此利用近似消息传递(Approximate Message Passing)算法求解边缘密度函数,降低了直接计算贝叶斯估计的计算复杂度。在确定迭代算法初始值时,充分利用信道样本信息,对信道样本应用凝聚层次聚类(Hierarchical Clustering)算法。在存在导频污染的条件下,即多小区模型中,本文的算法不仅仅估计目标小区用户的信道增益,同时估计邻小区用户到本小区基站侧的信道增益,从而达到了降低导频污染的目的。仿真结果表明,与现有算法相比,本文的算法可以获得更好的均方误差(Mean Square Error)性能和收敛性能。