用户对高速移动数据急剧增长的需求推动了下一代无线通信系统的快速发展。毫米波通信和大规模多输入多输出（MIMO,Multiple Input Multiple Output）作为第五代（5G,the Fifth Generation）移动通信系统中的关键技术,可以极大地提升系统的信道容量。但是在大规模MIMO系统中,如果采用传统的全数字预编码方案,射频链路部分将消耗大量的能量。混合预编码技术利用数字基带和移相网络共同编码,大大减少了射频链路数量,可以有效解决这一问题。然而,现有的混合预编码算法存在性能和时延的折衷问题。本文将结合深度学习技术,以高频谱效率和低复杂度为目标,对混合预编码进行设计。首先,对全连接结构的混合预编码进行设计。考虑到全连接混合预编码与全连接神经网络相类似的网络结构,本文提出了基于复数反向传播（BP,Back Propagation）神经网络的混合预编码算法,设计了复数域神经网络的激活函数,并推导了误差的反向传播过程。仿真结果表明,本文提出的基于复数BP神经网络的混合预编码算法性能逼近全数字预编码,相较于正交匹配追踪算法,频谱效率最高提升181.95%。其次,对子阵列结构的混合预编码进行设计。以最大化频谱效率为目标,本文提出了松弛约束的混合预编码迭代算法,并推导了该算法的误差上界。进一步地,为了降低多次迭代带来的高时延,本文设计了用于计算模拟预编码矩阵的卷积神经网络（CNN,Convolutional Neural Network）模型,并基于松弛约束的混合预编码算法构造了神经网络的训练集。仿真结果表明,相比于传统的迭代算法,基于CNN的混合预编码算法可以将时延降低一个数量级,频谱效率最高提升22.36%。最后,考虑到混合预编码技术极大地依赖于下行链路信道状态信息（CSI,Channel State Information）,而频分双工（FDD,Frequency Division Duplex）大规模MIMO系统中存在CSI反馈开销巨大的问题,本文提出了基于密集网络的CSI反馈方法。该方法以自动编码器架构为基础,编解码端均由密集网络构成,并采用自监督学习对其训练。此外,考虑到实际系统中量化误差的影响,本文在解码端加入误差补偿网络,并构造量化后的训练集,采用参数微调对解码端进行单独训练。仿真结果表明,基于密集网络的CSI反馈方法的信道恢复质量优于基于压缩感知的方法。此外,解码网络可以很好地补偿8 bit量化带来的误差。本文基于深度学习技术,对混合预编码相关问题展开研究,在系统性能上取得了一定程度的提升,为相关研究提供了新的思路。