随着各种智能设备的井喷式涌现和移动互联网服务的不断普及,全球移动数据流量急剧增长。海量的数据流量需求伴随着全覆盖、超高可靠、超低延迟的超高速无线通信需求不断增长。这些新兴的通信需求推动着现有的通信系统向着更高频段的毫米波发展以扩展信道容量,提升传输速度。结合大规模阵列天线的波束成形技术,可以有效补偿毫米波极高的路径损耗。但是,随着天线数量的增加,波束方向性增强,波束角度变窄,波束覆盖范围变小,实现极小的波束对齐开销,极稳健波束追踪,高性能的波束成形技术以匹配毫米波信道变得极其困难。针对毫米波大规模MIMO系统波束对齐时延长,波束追踪稳健性差,混合波束成形（Hybrid Beamforming,HB）难以求解的问题。本文以人工智能算法为基础,以低时延波束对齐、能适应复杂信道变化的稳健波束追踪,高性能的混合波束成形算法为研究目标。探索毫米波大规模MIMO系统中波束对齐、波束追踪和混合波束成形的智能化解决方案。本文创新点总结如下:（1）提出了一种深度强化学习驱动的快速波束对齐算法。该算法以稀疏编码与无相位解码为基础,首先将波束对齐问题转化为波束分组问题。然后基于马尔科夫决策过程对此问题进行建模,进而借助深度强化学习算法来探索快速波束对齐的分组策略。最后基于强化学习的分组策略,提出了两阶段快速波束对齐算法,在几乎不损失算法性能的前提下大幅降低算法复杂度。仿真表明,该算法相较于其他波束对齐算法波束缩减50%的搜索次数,在相同扫描次数下成功率提升约20%。（2）提出了一种基于信道特征图的高效率、稳健的波束追踪算法。与传统方案相比,本文算法无需依靠精确的位置信息,借助自编码器神经网络构建信道特征图。然后利用信道特征图坐标替代真实位置信息作为信道角度特征的有效载体,提出了基于信道特征图的智能化波束追踪方案,收发端根据当前的信道角度特征对未来时刻候选波束集的方向和个数进行实时调整,以较小的扫描开销,实现高效、稳健、智能化的波束追踪。仿真结果表明,该算法在相同追踪准确率的条件下减少约50%的波束扫描次数。（3）提出了一种高性能的神经网络混合波束成形设计框架。在保证硬件约束的条件下,把波束成形矩阵联合优化过程转化为端到端的自编码器神经网络的参数更新过程。基于该框架,设计了窄带、宽带、有限分辨率移相器和低比特数模转换器等不同系统设置下的HB算法。与现有基于机器学习的HB算法相比,突破传统基于线性矩阵分解算法的性能界限,最大程度的提升混合波束成形系统的传输速率。在硬件结构受限下,实现了高性能、自适应、智能化的混合波束成形。仿真结果表明,相较于传统方案本文提出的基于神经网络的混合波束成形有约3d B的性能增益。此外,考虑到实际系统中信道估计存在误差,很难获得完美的信道状态信息,本文所提方案在相同的误差因子下性能损失只有传统方案的1/4,具有极高的鲁棒性。