为了满足下一代移动通信系统的性能要求,在基站(BS)使用大规模MIMO技术和毫米波频带已经成为5G通信系统的关键技术。大规模MIMO技术利用空间维度,能显著提高系统容量和速率。而毫米波频段带宽资源丰富,波长短,为大规模MIMO的基站天线布置提供便利。信道状态信息(CSI)的获取往往是通信系统发射机和接收机中各项技术实施的前提条件,对CSI估计的准确性是影响通信系统性能的关键。因此,信道估计技术在提高通信系统性能方面有重要的意义。本文对毫米波大规模MIMO通信系统中的信道估计算法进行了研究。首先,本文介绍了的研究背景,分析了国内外信道估计的研究现状,阐述了本文的研究工作及创新点。然后,分析了无线信道的传播特性,介绍了大规模MIMO技术和毫米波的发展过程,以及系统模型。接着介绍了压缩感知理论,并通过仿真对比传统线性信道估计算法和压缩感知算法在稀疏信道中的性能。最后,将CoSaMP算法和SP算法应用在毫米波大规模MIMO系统中,分析了两种算法存在的问题,并进一步改进,提出了基于联合块稀疏的改进算法,基于压缩子空间的改进算法和基于联合迭代支撑集检测的改进算法,通过仿真分析得出结论,证明改进算法性能更好。