毫米波和大规模多输入多输出（MIMO）的融合能够提供更高的数据速率和更大的网络容量。通过精确的信道估计,毫米波大规模MIMO系统可实现波束选择并取得接近香农容量的性能。利用透镜天线阵列,将空域信道转换为波束域信道,显著减少了需要估计的信道矩阵维度和射频链路数,降低了实现复杂度。因此,本文分别研究采用透镜天线阵列的低复杂度的宽带毫米波MIMO-正交频分复用（OFDM）系统信道估计、基于矩阵完备的毫米波大规模MIMO系统以及提高估计精度的基于优化块匹配三维滤波（OBM3D）的毫米波大规模MIMO系统。针对采用块匹配三维滤波（BM3D）的毫米波大规模MIMO系统信道估计精度不高问题,提出一种基于OBM3D的毫米波大规模MIMO系统信道估计方案。该信道估计方案的核心思想是将采用三维透镜天线阵列的大规模MIMO系统信道矩阵视为二维自然图像,利用毫米波信道的稀疏特性和路径的聚类特性,对BM3D算法进行优化。仿真结果表明所提出的OBM3D方案在整个信噪比区域均能取得令人满意的信道估计精度。针对宽带毫米波MIMO-OFDM系统信道估计实现复杂度较高的问题,提出一种基于Gauss-Seidel方法的串行支撑检测（GS-SSD）信道估计方案。鉴于基于串行支撑检测（SSD）的方案将波束域信道估计问题分解为一系列子问题,并使用最小二乘算法进行矩阵求逆,本文利用Gauss-Seidel方法近似高复杂度的矩阵求逆。复杂度分析和仿真结果表明,本文提出的基于GS-SSD的方案可将整体计算复杂度降低一个数量级且能够取得接近基于SSD方案的信道估计性能。针对毫米波信道固有的低秩性,提出一种低复杂度的基于快速随机奇异值阈值法（FRSVT）的毫米波大规模MIMO系统信道估计方案。所提方案联合利用毫米波信道波束域的稀疏性和天线域的低秩性,通过将信道估计看作矩阵完备问题,利用交替方向乘子法（ADMM）实现快速收敛,并采用改进的FRSVT方法降低一个数量级的奇异值阈值的复乘次数。复杂度分析和仿真结果表明,提出的基于FRSVT的方案在保持低复杂度的同时仍可以获得令人满意的信道估计性能。