毫米波通信技术由于可以提供足够大的带宽将成为下一代无线通信系统的重要技术之一。由于很多关键技术,如预编码/合并,都依赖于信道状态信息,高精度低开销的毫米波信道估计是至关重要的。但是毫米波系统使信道估计面临更大的挑战。一方面,毫米波系统的硬件限制,如有限的射频(RF)链路数,有限的移相器精度等使准确的信道估计变得更加困难。另一方面,毫米波系统巨大的天线数量使降低估计开销变得更加困难。针对这些问题,本文以提升毫米波信道估计的准确性和效率为目标,研究基于压缩感知的估计算法。论文的主要贡献包括:第一,针对使用移相器的混合波束赋形结构,本文研究了基于强度检测的多级压缩感知方案。这种估计方法的准确度十分依赖于码本设计。传统的基于最小二乘法的码字设计所产生的波束无法准确覆盖期望的空间角度区间。所以本文提出了迭代调整(IA)算法来改进码本的设计,并证明了算法的收敛性。理论上,改进的码本设计可以使波束按照算法要求精确地划分角度空间。另外,在混合波束赋形系统中,需要将理想码字分解成模拟码字和数字码字。在射频(RF)链路数量较少时,使用传统的正交匹配追踪(OMP)算法分解码字会造成波束严重的失真。所以本文设计了基于遗传算法的混合码本,可以在同样RF链路数量下得到失真较小的波束。仿真结果证明,这两种码本上的改进有效减小了空间角度的估计误差,从而提高了系统的频谱效率。第二,本文提出了一个新算法——基于相关性检测的多级压缩感知方案。所提算法在每一级通过相关性检测获得分辨率更高的空间角度估计,因此不会像基于强度的方案那样受到波束分辨率的限制。针对这种算法,本文还提出了两个波束图样的设计标准,并给出了一种符合标准的波束图样——余弦波束图样。基于这种图样,本文考虑实际中使用的混合波束赋形结构和有限的移相器精度,设计了混合码本。混合码本的生成算法分为两步,一是使用对称-OMP算法生成每级的基础码字,二是使用码字旋转产生这一级的所有码字。仿真结果证明,与基于强度检测的多级压缩感知方案比起来,所提方案可以使用较小的训练开销实现更小的错误估计概率,从而实现更高的频谱效率。第三,本文研究了可用于使用1-bitADC的毫米波系统中的信道估计算法。所研究的系统中,基站端使用大规模天线,而每个移动端使用单天线,并且每个移动端使用1-bitADC进行信号接收。基于这种系统,本文给出了估计问题的压缩感知模型。接着,BIHT算法和GAMP算法分别用于这种信道估计问题的求解。本文对GAMP算法的推导进行了完整的细节化的解释,并推导了对加性高斯噪声输出进行1-bit采样的情况下的输出函数。两种算法的收敛曲线证明它们都可以较快收敛。仿真结果还分别给出了估计均方误差和信噪比,信道路径数和训练开销的关系。可以看到,与BIHT算法比起来,GAMP算法有更小的均方误差,需要更小的训练开销,并且基本不受信道路径数的影响。