毫米波通信技术是第五代移动通信中的核心技术之一。针对无线通信网络中日益增长的数据业务对现有通信系统带来的挑战,毫米波通信技术能够利用大带宽的优势满足用户高速率、低时延的通信需求。尽管拥有大带宽的优势,由于受到较高的频段以及不利的天气因素影响,毫米波通信存在路径衰落过高、覆盖范围受限的劣势。为了克服路径衰落过大对通信造成的不利影响,毫米波通信系统需要在基站与用户终端配备大规模阵列天线,并通过波束成形技术为用户提供高质量的通信。波束成形技术需要获取信道状态信息,如何利用有限的导频开销估计完整的信道状态信息是毫米波通信中迫切需要解决的问题。除了直接估计完整的信道状态信息外,由于毫米波信道中具有较大路径增益的路径数较少,因此估计部分信道状态信息并形成对准的方向性的波束同样可以获得较好的性能。相比于信道估计方法,波束对准方法虽然难以获得最大波束成形增益,但是对噪声的鲁棒性好,实现也更为简单。如何在有限的导频开销下快速准确地完成波束对准同样是毫米波通信中的关键问题。针对上述问题,本文首先研究了基于联合稀疏与低秩结构的信道估计算法。由于毫米波信道具有稀疏散射特性,且每个散射体具有一定的角度扩展,因此毫米波信道具有联合稀疏与低秩结构。针对该特点,本文提出了一种两步式的压缩感知信道估计算法。该算法利用信道矩阵的联合稀疏低秩结构降低了信道估计所需的导频开销,并能够从压缩的测量值中精确估计原始信道。本文给出了严谨的理论分析,证明了所提出的两步式算法相比于传统的压缩感知算法具有更低的采样复杂度。仿真结果同样显示,相比于压缩感知的算法,所提出的算法在达到0.1的误码率时可以节省约30%的导频开销。其次,本文研究了信道协方差矩阵辅助的信道估计算法。在蜂窝小区场景中,基站一般位于较高的位置,散射体主要分布在用户周围。此时信道中路径的到达角范围有限,信道协方差矩阵具有低秩的特性。针对这一特性,本文使用最小均方误差估计器估计信道,并提出了一种信道协方差矩阵辅助的信道估计算法降低导频开销。在无噪声的情况下,证明了信道估计所需要的导频开销可以降低到信道协方差矩阵的秩的数量级。在有噪声的情况下,对单用户和多用户的场景分别给出了最优的导频设计方案,并证明了最优的导频设计方案需要的导频开销同样可以降低到信道协方差矩阵的秩的数量级。对于信道协方差矩阵预先未知的问题,本文还提出了一种不需要额外导频开销的信道协方差矩阵估计方法。仿真结果显示,相比于压缩感知的方法,本文提出的算法的估计精度在信噪比为15d B时可以从0.15降低到0.03。最后,本文对于毫米波通信中的波束对准问题,研究了基于多峰搜索的波束对准算法。针对现有的波束对准方法或是训练开销过大、或是需要收发双端多次交互的问题,提出了一种基于多峰搜索的波束对准算法。该算法利用毫米波信道固有的稀疏散射特性,通过使用具有多个峰值的波束同时搜索多个方向来降低训练开销,之后通过对比不同波束的接收信号功率之间的差异,并结合波束本身的指向来估计最优的波束方向。理论分析证明,相比于对全空间进行穷举搜索的方法,所提出的波束对准算法可以从较少的观测值中估计最优的波束方向。对于有噪声的情况,同样给出了鲁棒的多峰波束码本设计方案以及波束对准算法。本文提出的算法计算复杂度较低,且对噪声的鲁棒性较好。仿真结果显示,所提出的方法在信噪比为0d B时仍然可以提供0.58左右的归一化波束成形增益,而其他方法此时的波束成形增益分别为0.55、0.25和0.2。