毫米波大规模MIMO技术能够显著地提升频谱利用率、增强带宽,成为了5G通信系统的重点研究技术之一。然而,由于其系统中存在大量的天线阵列,这不可避免地提高了系统的复杂度和设备功耗,对系统的性能造成了一定的影响,也在一定程度上限制了毫米波大规模MIMO技术的发展。对此,本论文基于混合预编码原理,以最大化系统可达和速率为目标,提出了新颖的适用于毫米波大规模MIMO系统的混合预编码技术。主要研究内容及所做工作如下:（1）针对全连接单用户毫米波大规模MIMO系统,提出一种基于改进的正交匹配追踪（Orthogonal Matching Pursuit,OMP）算法的混合预编码方案。首先,针对基本OMP算法中存在迭代次数过多的问题,受多步长思想的启发,从阵列响应矩阵中选取与射频链路数目相等的最优多列,以构成模拟预编码矩阵。然后,针对基本OMP算法中的求逆运算复杂度高的问题,通过数学公式推导,联合Holder（5）（5）不等式及Schatten范数来逼近待优化的目标函数,以求得最优的数字预编码矩阵。仿真结果表明,所提出的基于改进的OMP方案有效降低了运算复杂度,且其在数据流数目与射频链数目相差较小时,系统性能更为良好。（2）针对部分连接多用户毫米波大规模MIMO系统,提出一种基于人工蜂群（Artificial Bee Colony,ABC）算法的混合预编码方案。首先,在数字域部分采用经典的迫零预编码,在此基础上,推算了实现系统可达和速率最大化时,其模拟预编码矩阵应满足的条件,并进一步利用ABC算法的思想,把混合预编码矩阵设计问题等效为随机搜索寻优问题,求得最优的预编码矩阵。其次,针对传统的ABC算法探索与开发能力未能达到很好的平衡这一缺陷,又提出一种基于交叉操作的全局人工蜂群算法的解决方案。通过理论分析和仿真结果表明,相比传统算法,所提出的算法在系统和速率与算法收敛速度等方面的性能都有提升。