随着对移动通信需求的快速增长，超5代(Beyond 5th Generation, B5G)移动通信将提供超高频谱利用率和传输速率、超可靠且低时延通信和大规模物联网通信系统。同时，B5G移动通信系统还将具备充分的灵活性以及网络自感知、自调整等智能化能力。B5G移动通信的关键技术包括：大规模天线阵列、密集网络、毫米波接入、新型波形复用、信道编译码与机器学习等。本文以高数据速率为目标，对B5G高速移动通信自适应传输理论进行了深入研究。本文主要工作如下：
　　一、研究了多用户网络多载波系统的自适应调制和功率分配理论方法。主要工作包括：1）为了最大化数据速率，对每个用户子带内的子载波实现自适应调制，设计出在满足误比特率(Bit Error Rate, BER)约束下的正交幅度调制的调制阶数；2）在满足传输功率约束的条件下，结合调制阶数，设计了每个子载波的功率分配方案；3）给出了关于载波频偏对信干噪比影响的公式推导和理论分析，证明了不同的载波频偏将对相邻用户造成不同程度的干扰，从而导致通用滤波多载波(Universal Filtered Multi-Carrier, UFMC)系统的性能下降。仿真结果表明，提出的自适应调制和功率分配算法可以在最大化数据速率的情况下满足BER性能要求，并且，载波频偏干扰的仿真结果也和理论分析结论相印证。
　　二、研究了存在载波频偏多用户新波形UFMC系统的自适应滤波器设计问题。主要工作包括：1）提出了基于加权切比雪夫近似的有限脉冲响应滤波器的自适应滤波器方案；2）根据不同用户的带宽和相邻用户之间的保护间隔，设计了该滤波器的通带和阻带参数；3）滤波器的阻带纹波是滤波器的主要参数，在满足目标BER约束的情况下，根据不同用户的不同载波频偏状况进行自适应设计。仿真结果表明，载波频偏干扰导致BER性能下降，而提出的自适应滤波方案可以显著消除载波频偏干扰，达到预期的BER性能。此外，与传统的固定长度滤波器相比，该自适应滤波算法具有较短的滤波器长度，可以有效地提高数据速率。
　　三、研究了混合结构大规模多输入多输出系统中的波束域自适应传输方案。主要工作包括：1）利用混合结构中有限的射频链路，设计了一种简单且自适应选择的二维到达角(Direction Of Arrival, DOA)估计方法；2）提出了一种低复杂度、高精度信道估计方法，信道信息包含DOA估计得到的波束导向矢量和低开销导频估计得到的波束增益；3）基于估计的波束信息，设计了模拟预编码器和合成器，在此基础上，推导出多波束间功率分配的最优解，以实现数据速率的最大化；4）提出了一种新的自适应波束管理方案，能够自适应地快速确定最优波束对，该方案有效降低了波束选择和波束接入的时间成本。仿真结果表明，提出的波束域信号处理方案具有较低复杂度和较高精确度，同时能够获得更高的数据速率。
　　四、研究了基于深度学习通信系统的自适应理论，包括高速率传输和性能分析。主要工作包括：1）考虑均方误差约束，设计了一种自适应选择传输向量的传输方法，使不同信道条件下的数据速率最大化；2）提出了一种新的广义数据表示(Generalized Data Representation, GDR)方案来提高基于深度学习通信系统的数据速率；3）分析了基于深度学习通信系统中训练信噪比(Signal-to-Noise Ratio, SNR)的影响和均方误差性能。数值结果表明，与传统的独热向量方案相比，当所提方案和传统方案具备有竞争力的误块率(BLock Error Rate, BLER)时，所提方案具有更高的数据速率和更低的训练复杂度。理论分析和仿真结果表明，高训练SNR和训练SNR集合都有利于在不同信道条件下获得较好BLER性能。