移动数据业务和智能终端应用的飞速增长,对无线通信网络的覆盖率、传输速率及能耗有了更高要求。毫米波大规模多输入多输出（Multiple Input Multiple Output,MIMO）作为未来移动通信的关键使能技术之一,具有大带宽、高频谱效率、高可靠性等显著优势。毫米波大规模MIMO系统中采用混合预编码技术,可以有效解决毫米波信号的自由空间路径损耗以及信号干扰问题,从而建立高信噪比传输链路。因此,设计毫米波大规模MIMO系统中混合预编码方案来实现系统性能均衡,成为亟待解决的热点问题。全文主要工作内容总结如下:（1）针对移相器相位分辨率有限导致的系统频谱效率损失问题,提出采用非网格量化模拟预编码码本的混合预编码设计方法。利用泰勒级数展开构成模拟预编码矩阵列向量的初始码字,根据最佳无约束预编码矩阵正交投影与码字的正交特性,求解以量化角度误差为自变量的一元二次函数,从而更新角度量化网格,逼近最佳量化角度,提高量化精度以实现模拟预编码矩阵更新。实验结果表明在低相位分辨率移相器的情况下,本文算法仍能显著提高系统频谱效率,降低系统对移相器相位分辨率的要求。（2）为提高系统频谱效率及误码率性能,提出了一种联合稀疏混合预编码优化算法。首先重构毫米波空间波瓣信道,分别对每个波瓣子信道进行混合预编码优化设计,然后针对混合预编码设计中含有非凸约束的多元稀疏信号重建问题,利用数字预编码矩阵隐含稀疏结构,设计波瓣内每个数据流模拟预编码的自有支撑集和共有支撑集,进而联合优化模拟预编码和数字预编码矩阵。仿真实验表明本文算法频谱效率更高、误码率性能更好。（3）为研究更为灵活的混合预编码方案,提出一种基于动态部分连接的混合预编码结构,通过调节射频链与天线间的开关状态,调整接入移相器数量,并提出相位交替优化设计方法,逐列优化移相器相位,以提高系统频谱效率性能。然后在给定目标频谱效率情况下,设计了一种动态索引更新算法,结合天线选择策略最大限度地利用大规模天线阵列增益,确定混合预编码连接结构。所提算法通过联合优化数字预编码、移相器网络及开关连接网络,减少了所需移相器数量,在提高通信系统频谱效率的同时降低了硬件功耗。