移动通信技术的发展和普及为人类社会带来了巨大的影响,已经在潜移默化中彻底改变了人们的生产、生活方式和全世界的商业模式。受益于十年一代的通信技术的演进,当今的移动通信用户已达到数十亿,移动通信的峰值速率相较最初更是实现了近千倍的增长。在这其中,一种名为大规模阵列天线的技术因其在提高频谱和能效方面的卓越能力,已成为第五代移动网络（The fifth generation mobile networks,5G）及超5G（Beyond 5G,B5G）通信系统的核心技术之一。然而,为了进一步挖掘大规模阵列天线的潜在优势并满足5G及B5G系统更多业务场景的需求,目前仍有许多关键问题需要解决,比如频分双工大规模阵列天线系统中的高精度低开销信道反馈问题、满足实际链路约束的更优多用户调度算法和面向5G/B5G不同业务场景的有效波束赋形和功率分配策略等。受此启发,本论文研究了5G/B5G大规模天线系统中的若干关键技术,包括信道反馈、用户调度、下行预编码和功率控制,其详细内容和主要贡献如下。首先,我们研究了频分双工大规模阵列天线系统中的宽带信道状态信息（Channel state information,CSI）反馈问题,设计了一种称为TSAC的高精度低开销信道反馈方案。具体来说,我们首先从宽带信道中提取出需要反馈的二进制稀疏支撑矢量和信道系数信息。对二进制稀疏支撑矢量信息,本文通过利用大规模阵列天线信道在时延角度域上的动态突发稀疏特性和强时间相关性,提出了一种二级差分方案实现其无损反馈,且反馈开销可以根据信道变化速率自适应地调整。对信道系数信息,本文则设计了一种基于自适应字典的多原子矢量量化方案,实现了有效压缩和量化。相较现有通信协议标准中的NR Type-2反馈基线,我们的方案可在显著降低反馈开销的同时取得更优的传输误块率（Block error rate,BLER）表现。其次,我们研究了多用户下行通信系统中以服务质量加权和速率最大化为目标的联合空频域多用户调度问题。为了使该问题的建模符合现有通信协议规范,我们考虑了5G标准中规定的连续频域资源分配约束。再考虑到大规模天线阵列和问题规模过大所导致的维度困难,这类问题是难以直接求解的。因此,本文通过构造一种增量容量函数将原问题转化为一系列子问题,并提出了一种JSFD-SMP算法来逐级求解。同时,为了降低算法复杂度,本文还精心设计了一种KPS简化实施方法,可在不损失性能的前提下显著降低计算开销。最后,仿真结果证明了JSFD-SMP算法相较现有基线方案可以在保持优秀的用户体验速率公平性的同时显著提升小区吞吐量。然后,我们研究了大规模阵列天线系统中低调制编码方案（Modulation and coding scheme,MCS）场景下以BLER为直接性能指标的下行预编码设计问题。由于BLER是一个与MCS、码率、传输块大小和信道编码方式等诸多实际链路参数有关的复杂函数,因此原编码系统优化问题是极难直接解决的。为了克服这个困难,本文首先引入链路分析和评估中常用的指数型等效信干噪比映射方法。之后,在考虑非理想CSI的场景下,我们基于EESM度量准则将原问题转化,重新构建了一个针对无编码系统中的优化问题并提出了一种E-SWMMSE算法来有效求解。最后,基于大量的仿真实验和计算结果,我们证明了EESM度量准则在评估BLER性能上的准确性与合理性,同时也展示了所提算法的优越性。最后,我们考虑一个包含动态队列的下行多用户多输入多输出系统,设计了一种基于正则化迫零预编码的功率控制策略,用以实现在满足各用户长期平均时延约束下的长期平均发送功率最小化。其涉及的问题是一个复杂的约束马尔可夫决策过程。本文设计了一种新颖的受约束深度强化学习（Constrained deep reinforcement learning,CDRL）算法,称为SCAPO,来有效求解。SCAPO算法通过将原问题中复杂的目标和约束函数用相应的凸代理函数替代,从而构造一系列针对转化后凸目标或可行集的凸优化问题。在每次更新中,SCAPO只需基于从在线样本中估计得到的目标和约束函数的一阶信息即可构造出凸替代函数,且其求解也是高效的。此外,SCAPO算法能够通过重用以往的旧样本数据来降低对在线样本的需求。数值仿真表明SCAPO相较现有的先进CDRL算法能实现更优的性能表现。