5G通信系统中人工智能、物联网等技术的广泛使用,增加了对带宽、网速以及时延的要求,毫米波（Millimeter Wave,mm Wave）技术以及大规模多输入多输出（Multiple Input Multiple Output,MIMO）的使用能够获得更多的频段资源以及增加系统的容量。为了能够充分发挥mmWave大规模MIMO系统所带来的系统增益,减少系统中射频（Radio Frequency,RF）链的使用和计算复杂度,所以设计计算简单的混合预编码器和天线选择网络是解决上述问题的途径之一。首先,交替最小优化（Manifold Optimization-Alternating Minimization,MO-Altmin）算法能减少混合预编码器在频谱效率方面存在的损失,然而MO-Altmin的嵌套环结构会导致算法收敛缓慢,因此本文改进MO-Altmin中的梯度算法,从而构成了复杂斜流形快速优化算法,该算法可降低MO-Altmin中由于嵌套环结构导致的迭代复杂性。由实验结果可知,提出的算法在频谱性能方面趋近于全数字预编码,且对RF链的依赖程度较低。其次,针对传统混合预编码算法在处理大量数据集时无法获得较优性能的问题,提出了基于深度神经网络（Deep Connected Neural Network,DNN）的混合预编码算法。利用神经网络输入和输出存在的线性关系,将信道矩阵作为输入,输出模拟预编码之后根据最小二乘法求解相应的数字预编码,由于全连接架构的部署难度比部分连接难,因此将天线选择和基于DNN的混合预编码进行联合设计。实验结果表明,DNN算法的性能几乎达到和全数字预编码一样,且复杂度也比较低。最后,在模拟预编码部分进行改进,在发送端引入电磁透镜,电磁透镜本身的能量聚焦特点,能将能量集中的天线进行选择并进行定向发送。神经网络在对大量数据进行处理以及分类领域具有一定的优势,所以将电磁透镜和神经网络相结合提出了一种DNN的电磁透镜阵列天线选择算法,该算法在系统性能保持一定的条件下使用了少量的射频链路。实验结果表明,提出算法的和速率基本趋近于穷搜法,同时比K-近邻算法、逻辑回归算法的准确率提高了 2%、7%。