随着5G技术的逐步普及以及6G技术的深入研究,越来越多的高速移动场景开始对移动网络提出了更高的要求,即通信链路既需要满足低误码的高通信质量,又需要满足高速率的高通信效率。对此,自适应链路相关的技术逐渐成为研究者们日益关注的研究热点。然而,高速移动场景下的信道与低速信道有着很大的不同,信道各项参数在短时间内快速变化,传统的信道估计难以以低代价实现对快变信道的准确跟踪。而自适应链路技术的重要基础之一就是要能准确地感知信道状态。因此,信道感知与自适应链路技术具有极大的联合研究价值。与此同时,机器学习算法以其强大的自学习能力和复杂问题解决能力受到了越来越多通信学者的关注。随着机器学习算法的硬件平台性能日益强大,算法的响应时间也大幅缩短,表现出了巨大的应用潜力。因此本文在5G系统的高速移动场景下,分别使用机器学习领域中的神经网络以及强化学习算法对信道预测和自适应调制编码技术展开研究,突破了传统通信算法在快变信道下的众多问题,取得了良好的性能提升。本文的主要工作内容总结为以下两方面:针对高速移动的快变信道下的传统信道估计算法存在信息延迟的问题,本文将传统信道估计算法和长短期记忆（Long Short-Term Memory,LSTM）网络相结合,提出了基于M2M4-LSTM的快变信道预测模型,实现了对快变信道的初步预测。本文利用卷积神经网络（Convolutional Neural Network,CNN）强大的特征提取能力,通过将接收信号转化为类图像格式,提出了一种基于CNN的快变信道预测模型,实现了对快变信道的精确预测。本文利用CNN的特征提取能力和LSTM的时间序列预测能力,进一步提出了基于CNN-LSTM的快变信道预测模型,仿真表明,基于CNN-LSTM的快变信道预测模型相比于M2M4-LSTM模型和CNN模型在信噪比预测准确度、多径时延扩展预测准确度上具有非常明显的性能提升。并且在时速120km/h～500km/h,对应的快变信道相干时间为14.6μs～60.9μs下具有良好的鲁棒性。针对传统自适应编码技术对所有的信道均使用固定的调制编码方案切换表的局限性问题,本文提出了一种基于Dueling DQN的自适应调制编码决策算法,并将基于CNN-LSTM的快变信道预测模型作为信道跟踪模块,在快变信道下使用了5G NR标准中推荐的可选调制编码方案,进行了联合仿真实验。仿真结果表明,本文提出的Dueling DQN自适应调制编码决策方案相比于5G NR标准中基于信道质量指示（Channel quality indicator,CQI）固定阈值切换的自适应调制编码决策方案和基于DQN的自适应调制编码决策方案,在误码率性能、频谱效率性能和收敛速度上均有较大提升。同时Dueling DQN在DVB-S2协议中的卫星通信系统中还有良好的泛化性能。