近年来,人们对通信速率的要求逐年递增,现有的微波频段无法满足带宽需求,因此将启用毫米波频段。虽然此频段拥有大带宽,但其无线传输损耗也很严重,为了补偿这种路径损耗,需要采用预编码技术。全数字预编码技术计算复杂度过高,全模拟预编码技术预编码精度不高,所以就产生了混合预编码技术,它很好的实现了性能与复杂度之间的折衷。本文结合毫米波信道特性,研究大规模天线下混合预编码优化问题。首先,混合预编码的设计需要接收端反馈信道信息,在大规模天线设置下,信道反馈量大。此时考虑到毫米波信道的稀疏性,本文设计了多维缩放算法来压缩信道反馈信息。在很多时候,人们观测到的数据样本虽是高维的,但与设计任务密切相关的也许只是某个低维分布,即高维空间中的一个低维嵌入。多维缩放就是通过某种数学变换将原始高维属性空间转变为一个低维“子空间”,在这个空间中样本密度大幅提高,实现信道压缩。仿真结果显示,本文所提出了有限反馈方案频谱性能良好,并且当数据流数量较高时,频谱效率优于基于有效信道的有限反馈方案,并接近全反馈方案。接着,为了降低求解模数混合预编码这个优化问题的复杂度,在施密特正交化混合预编码算法的基础上,本文提出了一种低复杂度的混合预编码算法。该算法根据射频链数目,在初始码本中寻找与最优预编码向量最接近的一个或几个向量,具体数量由射频链数量确定,将选择的向量作为次优预编码向量,并将向量组合成矩阵后进行施密特正交化,得到预编码矩阵。仿真结果显示,与其他算法相比,所提算法具有最低复杂度,并且在射频链数量较大时,其频谱效率接近于复杂度高的算法。最后,考虑到单位模值限制是模数混合预编码为非凸问题的根源。采用凸松弛以及流形优化的方法来求解这一问题。首先通过凸松弛算法对单位幅值这个约束条件进行松弛,将原问题转变为凸优化问题,求得全局最优解,再通过压缩单位模值条件,得到原问题的次优解。另外,将原非凸问题看作流形优化问题,通过计算梯度,可以得到流形空间的最优解,再通过约束条件,得到原问题的次优解。仿真结果显示这两种方法的频谱效率优于其他算法,并且非常接近全数字系统。针对流形优化算法,结合一维精确搜索,提出改进的流形优化算法。仿真结果显示,改进的流形优化算法频谱效率优于原算法。