随着海量的各式智能设备接入网络,以及各种新型产业海量数据传输与共享,人们对于无线通信的流量需求正以指数级增长。为了解决稀缺的频谱资源与快速增长的流量需求之间的矛盾,第五代（5-th Generation,5G）通信网络乃至正在规划的第六代（6-th Generation,6G）通信网络都在研究使用更高的频率进行通信,其中毫米波（Millimeter Wave,mm Wave）因其丰富的频带宽度而受到了广泛的关注。为了克服通信系统中的路径损失,并提供更高的通信速率,以及更可靠的通信服务质量,多输入多输出网络（Multiple-Input Multiple-Output,MIMO）架构成为了研究的重点。然而,随着通信频率的提升与大规模系统中天线数量的增加,系统硬件（如射频器件）成本、参考信号（Reference Signal,RS）的开销等为波束成形的设计提出了更高的需求。基于传统凸优化波束成形算法的复杂度较高,这使得该类波束成形算法无法适应于环境复杂、信道快速变化的无线通信场景,在实际中难以部署。因此,寻求低复杂度、低开销的智能化波束成形算法十分必要。本文旨在研究基于深度学习的低复杂度低开销的智能波束成形设计算法。从实现有效降低系统开销的线性混合波束成形设计,再到高效地实现更高自由度的非线性符号级波束成形设计,之后针对系统进行端到端的联合处理设计,实现基于自适应调制的非线性符号级波束成形设计与符号检测。本文的主要工作与贡献如下:（1）研究了毫米波多用户低分辨率移相器系统中基于深度学习的快速混合波束成形的设计。具体地,首先针对理想信道状态信息提出了一个快速设计低分辨率模拟波束成形深度学习算法。之后在此基础上,为了降低实际系统中信道估计产生的巨大开销,提出了一个基于粗估计信道信息的混合波束成形设计的深度学习算法。仿真实验证明该算法能够有效地降低系统上行训练时的导频序列开销,同时能有效减少设计混合波束成形的复杂度,且性能优于传统算法。（2）为了解决自由度更高的符号级波束成形设计时复杂度极高的问题,提出了一个基于深度学习网络的低复杂度的高效符号级波束成形设计算法,并设计了非监督学习的训练方式。该网络以数据驱动,能够适应于不同信道场景。最后仿真实验证明了所提出算法相较于传统优化算法的高效性及其泛化性。（3）考虑了更为复杂的基于自适应调制的符号级波束成形设计。该通信场景下由于需要寻找合适的调制方式,且符号级波束成形设计本身复杂度高,故对系统中联合处理算法提出了更高的要求。针对此问题,设计了一个端到端联合设计的深度学习网络,减少了调制方式的搜寻过程,高效地实现符号级波束形成的设计,并实现了接收端更为灵活的解调策略。在仿真实验中,验证了所提出算法的可靠性。本文的研究成果不仅能够进一步推进智能化无线通信系统的发展,降低系统复杂度,增强无线通信系统的物理层设计的自由度,还为未来新一代通信技术的发展提供了理论支撑,为新通信协议标准提供了技术支撑。