大规模多输入多输出(MIMO)技术已被认为是第五代通信技术中最为核心的技术之一。在大规模MIMO系统中,发射端中装备有大量天线,这使得发射端的天线面板可以获得更大的空间自由度和阵列增益。与此同时,由于拥有丰富的频谱带宽和更高的数据速率,毫米波通信技术也已成为未来无线通信系统中最有效的技术之一。而毫米波MIMO系统是一种在大规模MIMO系统中使用毫米波技术的通信系统。该系统通过利用波长较短的毫米波通信技术降低了相邻天线与天线之间的物理间隔,从而实现了大规模天线的配置。此外大规模MIMO系统所产生的较大的波束赋形增益可以补偿由高频毫米波通信传输时所引起的传播损耗。在毫米波MIMO系统中,信道状态信息的准确估计对于混合波束赋形处理器的设计是必不可少的。然而,毫米波MIMO系统的庞大的天线数目使得传统的MIMO系统的信道估计算法无法直接应用于毫米波MIMO系统之中。本文利用毫米波高频衰落所带来的信道稀疏特性,设计基于压缩感知的毫米波信道估计算法以解决毫米波MIIMO系统的信道估计问题。文章首先研究了基于块稀疏自适应压缩感知的毫米波信道估计。文章利用毫米波信道矩阵在角度域中的非零值分布的结构特性,设计了一种广义块稀疏自适应匹配追踪(G-BSAMP)信道估计算法。该算法可以在系统未知信道中散射路径数目的情况下,对信道信息进行估计。实验结果表明,G-BSAMP算法可在未知信道中散射路径数目的前提下对毫米波MIMO系统的信道信息进行有效估计。接着,文章研究了基于压缩感知的多帧毫米波信道估计。在室内低速的毫米波无线通信场景中,由于通信双方间的信道统计信息变化缓慢,因而导致不同帧所对应的信道向量间存在相似的稀疏特性。利用毫米波信道在时间上的结构特性,文章提出了一种时间域稀疏度自适应匹配追踪(TD-SAMP)信道估计算法。在该信道估计算法中,系统将前一帧的信道信息作为当前帧下信道估计的先验信息,以此实现对连续帧内的毫米波信道进行估计。实验结果表明,TD-SAMP算法可以有效地对连续帧下的毫米波信道进行估计。最后,文章研究了多天线面板阵列结构的毫米波MIMO系统的信道估计算法。由于在多天线面板阵列结构的毫米波MIMO系统中,各天线面板之间的物理间隔较小,因而不同天线面板间的信号发射角近似一致。根据这种结构特点,本文设计了广义联合正交追踪匹配(GJOMP)和优化的联合正交追踪匹配(O-JOMP)两种基于联合压缩感知的毫米波信道估计算法。实验结果表明,G-JOMP算法和O-JOMP算法皆可对多天线面板阵列结构的毫米波MIMO系统的信道信息进行有效估计。