为满足用户日益增长的传输速率需求,解决频谱资源稀缺问题,大规模多输入多输出（Multiple Input Multiple Output,MIMO）和毫米波技术的结合是未来移动通信的演进方向。随着新兴技术的发展,第五代(5thGeneration,5G)和后5G（Beyond 5G,B5G）移动通信系统在峰值速率、频谱效率和移动性管理等方面均有大幅提升。准确高效的估计信道状态信息（Channel State Information,CSI）是实现B5G系统预期性能指标的关键。因此,超大规模MIMO信道估计方法研究对B5G移动通信系统设计至关重要。本文主要研究工作如下:（1）结合毫米波信道的稀疏特性以及大规模阵列的低秩性,对毫米波大规模MIMO信道估计问题展开研究。首先针对均匀线性面阵,通过Kronecker降维分解接收信号,分离收发两端角度,分别建立收发两端的二维角域优化模型。接着,为解决传统正交匹配追踪（Orthogonal Matching Pursuit,OMP）算法的离网误差问题,提出一种基于压缩感知的离网误差估计算法。利用泰勒公式展开以及信号与噪声子空间的正交性构造离网误差的优化公式,通过循环迭代逐步获取角度信息,实现信道的精确估计。最后通过数值仿真验证提出算法的准确性和先进性。（2）研究球面波前的超大规模MIMO非平稳信道估计问题。基于散射簇的生灭过程描述信道的非平稳特性。针对非平稳信道估计问题提出Newton-OMP算法,将信道估计划分为两个步骤。首先利用OMP算法粗略估计散射簇的位置,其次将粗略估计值作为初始条件,进一步通过牛顿迭代优化最终获得最优值。最后,将Newton-OMP算法与其他算法对比并通过Matlab进行数值仿真。仿真结果可以证明Newton-OMP算法在系统中的优越性和准确性。本文中提出的毫米波大规模MIMO信道估计算法为B5G无线通信系统中传输方案设计、链路级仿真以及干扰分析等后续工作提供理论依据和实践基础。