毫米波大规模多输入多输出(massive Multiple Input Multiple Output,massive MIMO)是移动通信的重要发展趋势之一。针对日趋增长的高速率与低时延通信需求,毫米波大规模MIMO系统的非盲信道估计成为通信系统设计的关键。非盲信道估计的导频序列或训练序列开销与收发端的天线规模正相关,所以目前大规模MIMO系统的非盲信道估计方案存在导频开销过大的问题。为了解决此问题,本文利用该系统特有的角域稀疏性,将信道估计问题建模成压缩感知(Compressed Sensing,CS)形式,深入研究毫米波大规模MIMO上行(uplink,UL)信道估计问题。在系统建模过程中,为了避免由于量化角度间距过小而导致计算复杂度过高以及由于感知矩阵列与列之间相关性增大而导致稀疏恢复性能变差的问题,提出的方案均采用了格点失配(off-grid)模型。因此,本文重点关注格点失配情况下的信道估计问题,探究基于压缩感知的单用户与多用户毫米波大规模MIMO上行信道估计方案。在单用户上行信道估计研究中,本文利用泰勒展开首次建立了 MIMO下的二维格点失配系统模型,并根据贝叶斯框架提出了基于稀疏贝叶斯学习(Sparse Bayesian learning,SBL)的上行信道估计方案,同时给出了其快速实现版本以降低计算复杂度。该方案具有复杂度低与精度高的优势。仿真结果表明基于稀疏贝叶斯学习的格点失配信道估计算法性能优于传统算法。在多用户上行信道估计研究中,首先利用神经网络的降噪能力建立了一个基于循环神经网络(Recurrent Neural Networks,RNN)的信道估计框架。该框架能在离线训练与在线预测之间转换以适应信道的小幅度变化,具有复杂度低与部署简单的优势。仿真结果表明在低信噪比(Signal to Noise Ratio,SNR)下信道估计的性能得到较大改善。进一步考虑信道角度信息在通信系统中的广泛应用,通过利用多用户上行信道之间的稀疏相关性,将角域信道估计问题转变成多重测量矢量(Multiple Measurement Vector,MMV)的压缩感知问题再进行求解。仿真结果同样表明提出的方案在低SNR下更具优势。