随着频谱资源的日益拥挤,毫米波通信已发展为当代通信领域的一个主要研究热点。由于数据量的不断增长,无线通信系统在未来对于数据传输速率、容量、时延和可靠性等方面都有着更高的标准,因此大幅提高系统的频谱效率和能量效率显得尤为重要。在毫米波移动通信系统中,通过应用大规模多输入多输出（Multiple Input Multiple Output,MIMO）技术,可以开发潜在的空间维度,提供更大的空间自由度。同时通过在大规模MIMO中引入混合波束成形结构,可以获得更为显著的系统性能增益。获取准确的信道状态信息是设计毫米波通信系统的关键。然而,毫米波系统接收端存在高路径损耗等弊端,大规模MIMO中所需要的导频开销与收发端天线数量成正比,混合波束成形使系统结构变得更加复杂,这些问题的存在要求发展特定于毫米波大规模MIMO混合处理系统的信道估计技术。本文以毫米波信道矩阵在波束空间上具有稀疏性作为切入点,深入研究基于压缩感知理论的毫米波大规模MIMO混合处理系统的信道估计问题。本文主要研究内容如下:（1）在现有基于压缩感知的信道估计中,角度参数离开角/到达角被量化为非均匀分布的角度网格,本文在此基础上,提出了一种基于角度网格优化与范数约束的信道估计方案。该方案将角度域划分为有限个角度网格,并通过接收信号与波束成形矩阵来对角度网格进行优化,同时采用l2范数来约束波束空间信道矩阵的稀疏性,使得信道估计问题转化为凸优化问题,该优化问题可以通过求解最小值直接得到全局最优解。仿真结果表明,该方案估计精度较好,计算复杂度较低。（2）本文提出了一种基于广义近似消息传递（Generalized Approximate Message Passing,GAMP）的信道估计方案。该方案首先基于波束空间信道矩阵的稀疏性,从波束空间中选择出部分对于信息传输有贡献的波束。然后,只需要估计所选波束空间上的信道系数。此时信道估计问题转化为稀疏信号重建问题,并采用GAMP算法来解决。由于只需要估计部分信道系数,GAMP算法的计算复杂度显著降低。仿真结果表明,所提出的信道估计方案在估计精度和频谱效率方面都表现出明显的优势。