在mmWave大规模MIMO通信系统中,使用大规模天线阵列可以弥补毫米波传输过程中的损耗,同时,预编码技术通过调整发射信号的相位和幅度来实现系统传输速率的提升,进而满足5G通信系统的高传输速率需求。然而大规模天线阵列会导致全数字预编码器使用大量的射频链路,造成不可估量的硬件复杂度和能耗。合理地设计混合预编码器可以减少射频链路的使用,降低模拟电路的成本,天线选择技术可以在混合预编码的基础上进一步降低系统的硬件和算法复杂度。这是因为大规模天线之间存在一定的相关性,同时使用这些天线并不会增加较多的频谱效率,而使用部分较优的天线子阵列可以在降低系统复杂度的同时损失较少的频谱效率性能。因此本文针对mmWave大规模MIMO系统进行了混合预编码技术和天线选择技术研究。全连接混合预编码结构中的移相器对模拟预编码矩阵元素具有单位模值的限制,这使得混合预编码的求解问题变得困难,传统的混合预编码算法通常难以在性能和复杂度上同时取得较优。针对这个问题,本文使用基于深度学习的混合预编码器设计算法,构造一种基于回归的神经网络结构,实现了输入信道矩阵,可以直接输出模拟预编码/组合矩阵,在得到较优性能的同时,降低了混合预编码器设计的计算时间。并且,在训练过程中向神经网络提供加入不同噪声的信道实现,来模拟非理想估计的信道矩阵,使得神经网络结构在非理想估计的信道情况下仍有较强的鲁棒性。天线选择技术能够在混合预编码的基础上进一步节省成本和能耗。在得到较优天线选择性能的前提下,为了降低天线选择的计算时间,使用一种基于深度学习的天线选择算法,将天线子阵列的选择转化为神经网络的分类问题,使得网络可以输入信道,输出较优性能的天线子阵列。基于深度学习和混合预编码的神经网络结构都是通过输入信道得到结果,因此,将天线选择和混合预编码器设计联合搭建神经网络。具体地,天线选择神经网络将选择出的较优天线子阵列输入到混合预编码神经网络中,得到模拟预编码/组合矩阵,并且本文根据天线数量给出了两种天线选择训练数据的生成方式。仿真结果表明,与传统算法相比,所提出的天线选择和混合预编码联合求解的神经网络结构在降低算法运行时间的同时,可以得到性能较优的天线子阵列和混合预编码器设计。