毫米波（millimeter-wave,mm Wave）通信作为近几年的研究热点,受到研究人员和产业界的广泛关注。由于毫米波拥有丰富的频谱资源,毫米波通信技术成为第五代移动通信（5G）提高系统频谱效率的核心关键技术之一。毫米波的波长很短,可以在较小的天线面板空间中部署更多的天线单元,因此毫米波通信也使得大规模多输入多输出（Multiple-Input Multiple-Output,MIMO）技术得以进一步发展。大规模MIMO系统中的混合波束赋形技术（Hybrid Beamforming,HBF）能提供非常高的天线阵列增益,可以反过来弥补毫米波的高路径损耗的缺点。因此,基于混合波束赋形的毫米波通信是未来移动通信发展的重中之重。鉴于此,本文从不同的角度出发,研究了毫米波通信系统中混合波束赋形技术面临的问题。本文首先研究了由于HBF架构的信号维度缺失特点导致的欠维度信道估计问题,其次研究了高速移动环境下的快速HBF算法设计问题,最后研究了基于HBF架构的天线互耦效应建模和基带解耦算法设计问题。本文的主要成果和贡献可以总结如下:（1）首先,本文针对HBF架构带来的信号欠维度问题,进行了欠维度信道估计算法研究。基于单用户MIMO系统,本文主要从HBF架构的信号欠维度方向考虑,利用毫米波信道的稀疏性,重新设计了信道估计算法。由于压缩感知技术能够较好的恢复稀疏信号,本文首先对mm Wave信道进行了由空间域到角度域的转换,得到虚拟信道系数矩阵,进一步凸显毫米波信道的稀疏性。其次,为了构造压缩感知算法的一般形式,本章对低维度的接收信号进行一系列处理。为了保证最大程度的恢复信道状态信息并且满足压缩感知算法所需的有限等距准则（RIP准则）,本章利用接收信号进行自适应的感知矩阵构造,令感知矩阵本身能包含一定程度的有效信道信息,尽可能的从射频链路（RF）维度的基带接收信号中恢复出收发天线维度的稀疏信道。由于采用了虚拟信道表示法,产生相邻角度信道信息泄露的问题,因此,本章在恢复稀疏信道时利用压缩采样匹配追踪算法,最大程度保留虚拟信道的主角度信道信息和相邻角度信道信息。最后,利用角度域到空间域的反变换,恢复原始的mmWave信道。本文评估了不同射频链路数和不同信噪比对算法性能的影响。仿真结果表明,随着射频链路数的增加,所提出的信道估计算法性能均优于对比算法,且频谱效率十分接近全数字波束赋形的性能。（2）其次,针对高速移动环境,尤其是高铁的无线通信环境,本文研究了快速HBF的方案设计。高速移动环境中,由于用户和基站的相对位置快速变化,极易发生波束指向失准的问题。这一问题会导致通信系统的中断概率大幅度提高,降低通信系统的服务质量（quality of service,QoS）,使得用户体验变差。因此,本文提出了基于快速波束搜索的多用户HBF算法设计方案。首先结合接收信号功率和误差函数,推导了中断概率上界的表达式。然后,分两步设计快速HBF算法。第一步采用低搜索复杂度的逐步细化波束搜索算法得到模拟波束赋形对,第二步根据迫零（zero forcing,ZF）算法和频谱效率最大化准则,利用广义瑞利商的性质求解最优的数字波束赋形矩阵。最后,本章还分析了信道估计误差对算法的性能影响。仿真结果表明,所提算法在很大程度上降低了中断概率;与其它HBF算法相比,所提算法的频谱效率更接近全数字波束赋形的谱效。另外,合适的波束切换周期也可以一定程度的降低中断概率,提高系统性能。（3）最后,针对天线的互耦效应问题,本文研究了基于深度学习的互耦效应建模方法与带有HBF架构的基带解耦算法。在超大规模MIMO系统中,不断增加的天线数量和天线小型化需求之间的矛盾将会导致天线互耦效应愈发严重。与传统的互耦建模方法不同,本文采用深度学习方法对天线互耦效应进行建模。建模的基本思想是将大量的天线输入与输出信号作为深度神经网络的训练数据集,通过学习天线互耦效应的模型参数,进行互耦参数预测。仿真结果表明,一方面,训练的数据模块越大,预测参数的均方误差（mean square error,MSE）就越大,反之模块越小MSE就越小;另一方面,神经网络的学习速率越大,MSE曲线下降的就越快。但神经网络的学习速率无法无限制的提升,所以需要联合优化学习速率和训练模块大小,以期达到最佳的学习效果。依据学习所得的天线互耦矩阵,本章研究了带有HBF架构的基带解耦算法。仿真结果表明所提解耦算法具有较低的误码率,可以缓解天线互耦效应对系统误码率的影响。