作为一项针对下一代无线局域网(WLAN)和5G蜂窝系统的重要技术,毫米波通信受到了广泛的关注。和传统的低频率系统相比,毫米波通信遭受到严重的路径损耗。因此在接收端和发送端使用大量天线阵列来实现高波束增益,从而获得足够的链路预算。波束成形技术在多天线系统中可以改善接收信噪比(SNR),进而降低误码率和提升系统容量。波束成形中如何选择波束矢量是关键。本论文主要探索毫米波正交频分复用(OFDM)系统和多输入多输出(MIMO)系统的波束成形技术。本文首先研究了 60GHz毫米波多天线OFDM系统中基于码书的波束成形技术。给定一个预定码书,波束成形的目的是找到最佳发送端和接收端波束矢量来最大化频谱效率。通过适当地公式化60GHz多径信道模型,可将波束成形问题转化为估计多个稀疏信号矢量。利用压缩感知(Compressive Sensing,CS)技术能够有效地估计这些稀疏信号,其中压缩感知测量矩阵通过最小化有效字典不同列的内积进行了优化。这样,就得到了基于压缩感知的迭代波束成形算法。由于充分利用了 60GHz信道的多径稀疏性,就训练开销和成功概率而言,提出的算法大大地优胜于现有的其他算法,文中理论分析和大量仿真证实这一点。由于功率和成本的限制,毫米波大规模天线阵列倾向于使用有限数量的射频链路。换句话说,射频链路的数目远远小于天线阵元数目。为了实现最优的奇异值分解(SVD)波束成形,通常需要进行信道估计,这对毫米波大规模MIMO系统构成了挑战。为了避免繁重的信道估计,本文针对毫米波MIMO系统提出了两种实现SVD波束成形的迭代算法。基于时分双工(TDD)下信道的互易性,提出的算法分别采用幂迭代(Power Iteration, PWI)和 Lanczos 迭代(Lanczos Iteration,LAI)。迭代过程中,我们只需要估计一些与信道有关的矢量而不是MIMO信道矩阵。利用毫米波信道的空间稀疏性,这些算法可大大降低所需的训练开销。仿真表明,就所获得的系统容量和训练开销而言,提出的方案优胜于现有的算法,并且能够得到和理想SVD波束成形非常接近的性能。