无线通信技术的发展已经进入了第五代移动通信正朝着超5G（Beyond 5G）方向发展以满足日益增长的高数据速率和高质量服务需求,5G可以极大地提高通信速率达到吉比特每秒、显著地降低延迟达到毫秒级别和对大量设备不断增加的支持。宽带宽的毫米波通信和大规模MIMO（Multiple Input Multiple Output,MIMO）通信是无线通信系统提升通信容量的关键技术,毫米波大规模MIMO系统中,基站大量的天线使得传统的全数字预编码处理技术硬件成本和能量消耗太高不再可行,混合预编码处理技术便成为无线通信系统的研究热点,本文主要研究毫米波大规模MIMO系统无线通信中复杂度与频谱效率折中的混合预编码技术。首先,针对基站服务多用户的单蜂窝下行链路系统,提出基于机器学习自适应连接1比特量化的混合预编码。基站端的模拟预编码器为自适应连接结构。先根据每个用户的信道状态信息确定模拟预编码中射频链与天线的连接形式,然后利用机器学习自适应交叉熵的优化方法优化使可达和速率最优的模拟预编码矩阵,最后用ZF（Zero Forcing,ZF）的方式设计数字预编码消除数据流之间的干扰。仿真表明,在相同的低硬件复杂度下,所提的ACN based MLACE（Adaptive Connection Network based Machine Learning Adaptive Cross-Entropy,ACN based MLACE）方案可以实现良好的可达和速率,达到了硬件复杂度与可达和速率的折中。其次,针对基站服务单用户全连接的情况,利用联合优化的方法。先将系统容量最大问题转化为等效信道矩阵的行列式最大的问题。然后分别提出三种基于联合优化的混合预编码方案。第一种根据波束赋形增益最大的原则分别从DFT（Discrete Fourier Transform,DFT）码书中选取基构成发射端的模拟预编码矩阵和接收端的模拟组合矩阵。根据等效信道矩阵行列式的最大化可以进一步转化为每个射频链贡献和其他射频链的贡献两部分,又分别提出JLIOSVD（Joint List Iteration Optimization based SVD,JLIO-SVD）和JLIO-GA（Joint List Iteration Optimization based Gradiend Ascent,JLIO-GA）的单用户全连接联合优化算法,均可以实现优异的频谱效率,其中JLIO-GA实现了计算时间复杂度和频谱效率更好的权衡,可以作为单用户毫米波大规模MIMO系统有效的混合预编码算法。再者,针对基站服务单用户自适应连接的情况,提出ACN-SVD（Adaptive Connection based SVD,ACN-SVD）交替优化算法。先基于使发射天线处信号功率最大的原则设计模拟预编码的自适应连接结构,根据信道矩阵的SVD分解的酉矩阵确定。然后基于最优全数字预编码与混合预编码的最小Frobenius距离设计模拟预编码,用最优预编码共轭转置和模拟预编码乘积的SVD设计数字预编码。仿真表明,ACN-SVD算法以较低的计算复杂度可以实现较好的频谱效率。