大规模天线系统(亦称为大规模MIMO,Multiple-Input Multiple-Output)具有高频谱效率(谱效)和高能量效率(能效)的性能优势,已经成为第五代移动通信系统的关键技术之一。然而,大规模MIMO系统在演进与融合过程中仍存在实用化部署困难、硬件成本和链路功率消耗过高以及多技术融合更加复杂等问题,比如三维空间信道、模数混合天线架构、非理想信道状态信息以及高能效设计需求等对波束赋形设计带来了新的挑战。基于以上问题,论文展开对大规模MIMO系统中高谱效、高能效的波束赋形技术研究。首先,研究了大规模MIMO系统在三维MIMO信道模型中的三维动态波束赋形设计问题。基于码本提出了一种三维动态赋形方案,可以同时利用垂直维和水平维的空间分辨率来实现用户级波束赋形。相对于传统固定下倾角赋形方案,该方案显著提升了小区的吞吐量、小区平均谱效和边缘用户的谱效。此外,基于奇异值分解还提出了另一种动态赋形方案,可以解决码本赋形方案中由码本量化误差导致的系统性能损失问题。在此基础上,为了进一步获得系统的多用户复用增益,提出了一种基于有限反馈的多用户预编码方案,研究表明:提出的有限反馈预编码方案相比最大比发射预编码方案可以获得更好的谱效性能,并且当复用用户从2增加到8时,采用所提方案取得的小区平均谱效提升了 61%。其次,在多小区大规模MIMO协作网络中,为了降低基站实现成本及功耗,采用了全连接模数混合天线架构,并研究了最大化网络加权总能效混合波束赋形优化问题。为了降低该问题的求解复杂度,分两步对其进行求解。在第一步中,对模拟波束赋形矩阵与数字波束赋形向量的乘积使用变量替换,将原问题转化为一个关于新变量的分式优化问题,并利用提出的两层迭代算法来得到新变量的最优解。在第二步中,根据上一步得到的最优解,将模拟波束赋形矩阵和数字波束赋形向量的联合优化问题重新建模为矩阵分解问题,并采用交替最小化方法设计两种迭代求解算法,包括一种基于黎曼优化的混合波束赋形优化算法和一种基于经验假设的低复杂度算法。结果表明:所提方案不仅可以降低基站的实现成本还能够提高网络的能效性能。接着,在大规模MIMO异构网络中,为了降低宏小区基站的硬件实现复杂度和成本,并提升系统链路传输的鲁棒性,研究了基于中断概率限制的总功率最小化混合协同波束赋形设计问题,并对其提出了一种两阶段求解方案。在第一阶段,使用提出的低复杂度模拟波束选择算法可以得到宏小区基站的模拟波束赋形矩阵;在第二阶段,使用半正定化简技术和扩展的Bernstein-type不等式将基于等效信道的协同波束赋形问题转化为凸的半正定规划问题,并根据交替方向乘子法提出了一种分布式协同波束赋形优化算法。结果表明:所提方案可以抵抗信道状态信息错误,能够满足用户的中断概率需求并且可以使用较少的射频链路即可逼近全数字架构下的性能。最后,针对中继配置大规模天线的多用户全双工中继网络,分析了非理想莱斯信道模型下系统的自干扰抑制能力,推导了每对用户间的可达速率解析式和不同发射功率分配下的系统谱效。理论分析和仿真结果表明:当全双工中继的收发天线数目很大时,可以消除自干扰、不同配对用户间干扰和噪声;与半双工中继模式相比,全双工中继大规模MIMO系统的频谱效率可以提升一倍,并且在保证系统性能不变的情况下,可以大幅度降低源节点用户和中继节点的发射功率。另外,针对源节点基站配置大规模天线的全双工中继辅助的下行传输场景,提出了一种基于交替方向乘子法的总功率最小化全双工中继发射波束赋形分布式设计,以对抗非理想信道状态信息、中继间干扰、多用户干扰和自干扰。结果表明.:所提方案可以有效抵抗信道状态信息错误并满足系统的设计需求。