毫米波大规模多输入多输出（Multiple-Input Multiple-Output,MIMO）技术能够有效提升频谱效率,是无线通信系统中的关键技术。毫米波具有超大带宽,可以为无线通信系统提供充足的频段,而且能够与大规模MIMO技术进行集成,能够充分使用空间分集与复用特性。毫米波大规模MIMO系统,经过信道估计或信道追踪技术获取精确的信道状态信息后,通过预编码技术形成具有高增益且方向可控的波束,提高系统的传输性能,补偿路径损耗。本文对多用户毫米波大规模MIMO系统中混合预编码技术及信道追踪技术展开了研究。为解决因功率泄漏导致的系统性能下降以及能量损耗问题,提出了基于最小相位误差的波束旋转预编码方案。本方案将模拟预编码的设计表述为求解频谱效率最大化的问题,并将该问题简化为波束选择及波束组合的设计。在系统信道中搜索并选择最大增益波束,根据最大增益波束及功率泄漏程度确定功率泄漏波束集合,从该集合中选择能量集中的波束,形成波束选择集合。然后,以最大增益波束为基准,根据最小相位误差准则确定波束选择集合的相位,将所选波束的信道增益近似对准最大增益波束的方向,使得用户的接收信噪比最大。实验结果表明,该算法可以有效降低功率泄漏,在损失较小的频谱效率性能情况下,显著提升能量效率。波束空间毫米波大规模MIMO系统中,多个用户之间的信号会相互干扰。此外,功率泄漏会进一步加重用户间的干扰,严重影响系统频谱效率的性能。为了解决功率泄漏及用户间干扰的双重问题,本文提出了基于多波束选择的混合预编码算法。以求解每个用户的最大阵列增益为目标,设计模拟预编码方案;通过求解用户的最大总阵列增益,搜索并选择能量集中的波束,且每个波束至多被一个用户选择以减少用户间干扰,确定波束选择方案。将数字预编码表述为带功率约束的频谱效率最大化求解问题。实验结果表明该算法可以缓解功率泄漏及多用户干扰的联合问题,尤其是在低信噪比时,表现出优异的频谱效率和能量效率性能。在高速时变场景下,毫米波大规模MIMO系统中信道信息随时间快速变化,需要实时精确地获取信道状态信息,以便于设计预编码方案。本文假设角度位于量化网格上,通过一个酉矩阵表述角度信息矩阵,并提出了一种信道增益信息获取技术。基于信道增益时变模型,利用期望最大化（Expectation-Maximization,EM）算法追踪信道增益,E步骤由turbo近似消息传递算法计算,M步骤更新信道增益时变模型中的衰落因子及噪声参数,达到信道追踪的目的。实验结果表明,该算法能够很好的恢复时变信道,保证系统的频谱效率。