为了实现更高数据速率和更低时延的移动通信,学术界和工业界对第五代通信网络(5G)展开了广泛而深入的研究。作为5G网络的物理层关键技术,毫米波(mmWave)通信和大规模多输入多输出(Multiple-input Multiple-output,MIMO)技术能够大幅提升系统的频谱效率,而预编码技术则是两种技术结合使用的重要环节之一。模拟预编码和混合预编码是毫米波通信系统中常用的预编码方法。对于预编码算法,性能和复杂度之间存在一定的矛盾关系,所以算法的设计需要在这两个因素之间进行权衡。目前,毫米波预编码算法方面的研究还不够完善。如一些能够实现接近最优性能的算法,其复杂度偏高;一些预编码算法的适用场景受限;还有一些算法在频谱效率方面的表现一般,可能满足超高数据速率的无线通信需求等。因此,非常有必要针对毫米波预编码算法的设计做进一步的研究。本文根据毫米波和大规模MIMO的特点,针对不同的预编码系统,提出了几种解决方案,在提高频谱效率或降低复杂度方面取得了一定的成果。本文的研究工作主要包括以下内容:首先,为了减少射频链路的数量,毫米波通信系统中需要利用移相器进行模拟预编码。由于移相器只能改变信号的相位,为问题引入了额外的恒模约束。于是,以单数据流通信系统为基础,对模拟预编码问题的优化方法进行了理论研究,提出了主要矢量逼近(Dominant Vector Approaching,DVA)优化方法。然后,对其收敛性和局部最优性进行了证明,并展示了模拟仿真的结果。其次,研究了用于多数据流毫米波通信系统的模拟预编码算法的设计方案。基于全连接结构(the Fully-connected Structure,FS)和部分连接结构(the Partially-connected Structure,PS)的模拟预编码器,对优化问题进行了构建。在优化过程中,对非凸的预编码问题进行分解和简化,将大规模矩阵的优化问题分解为一系列形式相同的关于向量优化的子问题,并采用主要矢量逼近优化方法对问题进行求解。于是,分别提出了 DVA-FS算法和DVA-PS算法作为预编码算法的设计方案。通过模拟仿真,验证了所提的算法能够达到次优的性能,即使在信道信息不完美或移相器分辨率有限的场景中也有较好的表现。结合算法的复杂度分析和仿真结果可以看出,与经典的用于混合预编码系统的正交匹配追踪(Orthogonal Matching Pursuit,OMP)算法和基于连续干扰消除(Successive Interference Cancelation,SIC)的混合预编码算法相比,所提算法能够以相近的复杂度实现更好的性能。再次,基于采用全连接结构的混合预编码系统,对算法进行了设计。第一,分析了已有的基于流形优化的混合预编码算法,指出了算法运算中存在冗余,导致复杂度偏高。所以,利用流形优化和共轭梯度搜索的方法,设计了一种复杂度相对较低的改进算法。结合模拟仿真的结果和复杂度分析,可知经过改进的算法能够以更低的运算复杂度实现与原算法相近的性能。第二,在优化问题中,将混合预编码矩阵表示为一系列矩阵的和,其中每个独立的子矩阵都是由模拟预编码矩阵的一列和数字预编码矩阵的相应一行的乘积构成。于是,将问题转化为对各个子矩阵进行优化的问题。利用提出的相位追踪优化方法,可以比较容易地对问题进行求解。经过迭代,得到了基于相位追踪的混合预编码算法的完整步骤。仿真结果表明,所提算法能够以较低的复杂度实现接近最优的性能,提供了一种较好的在系统性能和运算复杂度之间的权衡方案。最后,针对采用部分连接结构的混合预编码系统,分别以性能和复杂度作为主要侧重点,设计了两种算法。第一,在部分连接结构下,混合预编码矩阵与最优数字预编码矩阵差异较大,为了实现较好的性能,对模拟预编码矩阵和数字预编码矩阵分两个阶段进行优化。对于模拟预编码矩阵,可以忽略其中的零元素,将优化问题分解为若干关于子向量的最大化二次型数值的优化问题,并进行迭代求解。而对于数字预编码矩阵,则可以通过引入等效信道的辅助完成优化。利用模拟仿真,验证了所提算法在同类算法中能够实现较高的频谱效率。第二,根据部分连接结构下模拟预编码矩阵中的非零子向量沿对角线排列的特点,对矩阵进行了分块处理。于是,将大规模矩阵的优化问题转化为对较小的子块矩阵的优化,从而简化了求解过程。虽然该算法在性能方面表现并不突出,但其复杂度有了明显的下降,具有更高的运行效率。