随着5G时代的到来,大规模多输入多输出(multiple-input multiple-output,MIMO)技术将逐渐替代传统MIMO技术,成为下一代无线通信系统的关键技术之一。随着天线数量的增加,显著提高了频谱效率和信道容量。但同时也带来了一些挑战,如射频链路成本问题,导频污染问题等。传统全数字预编码需要射频链路数与天线数量相等,实现成本高昂。在此背景下提出的混合预编码技术能大大降低所需射频链路数,因而成为当前重要的研究方向。本文对大规模MIMO系统中的混合预编码技术进行研究,从天线结构角度考虑,创新性地提出了两种不同天线结构的混合预编码设计策略。运用凸优化和随机优化方法求解优化问题,分析了算法复杂度和收敛性,并通过仿真验证所提算法的性能。论文的具体贡献如下:1)提出一种基于混合时间尺度信道状态信息(channel state information,CSI)的分组用户混合预编码设计。基于自适应部分连接的天线结构,考虑天线结构的硬件约束,最大化所有组中最小的统计信漏噪比(signal-to-leakage-and-noise ratio,SLNR),设计混合预编码优化问题。其中,模拟预编码根据长时统计CSI确定,数字预编码则与实时CSI有关,从而降低了 CSI信令开销。与已有的基于全连接天线结构和固定部分连接天线结构的算法相比,能看出所提算法可在性能,复杂度,CSI信令开销之间取得很好的平衡。2)考虑总功率(无线发射功率和硬件消耗功率)最小化问题,提出一种自适应全连接天线结构,能根据优化目标调节模拟预编码中激活的模拟移相器(analog phase shifter,APS)和射频链路数量,并基于所提天线结构提出一种稀疏混合预编码设计。优化问题中考虑用户平均速率约束,以最小化总功率消耗为优化目标,同时考虑了无线发射功率和硬件消耗功率,提出一种针对稀疏混合预编码的有约束随机连续凸近似算法,证明了算法具有较好的收敛性,且相比于已有算法具有功耗低、能量效率高的优势。