MIMO传输因为其极高的频谱利用率成为5G和6G需要进一步扩大使用规模的技术。由于传统的MIMO预编码发送与检测方案,都是基于系统参量的统计模型而设计的,但是系统参量的实际运行并不完全与统计模型吻合,这就使得基于模型设计的发送与检测方案不能达到最佳的效果。为了克服这一困难,学术界提出使用基于数据的机器学习方法,来获得与系统实际场景高度吻合的发送与接收方案。论文围绕MIMO预编码与用户配对问题,研究其机器学习实现方法。论文主要工作如下:一、针对单小区多用户MIMO下行预编码场景,以用户权值和速率为目标函数,给出了预编码方案设计的CNN实现方法。主要工作如下:1)将预编码设计所对应的数学优化问题,转化为矩阵加权和均方误差最小化问题,使用WMMSE迭代算法进行求解,并以该算法的输入输出作为CNN网络的训练数据;2)构造了一种具有较强特征提取能力和卷积核参数共享的CNN结构,作为预编码方案设计的机器学习架构,该架构能够以较小的计算量进行特征学习和网络计算;3)提出了一种监督与非监督相互结合的训练方法,先使用监督学习方法进行预训练,然后再使用非监督学习通过所构造的正则化项损失函数进行再训练。仿真结果表明,所提出的预编码机器学习实现方法可以实现与WMMSE算法相当的和速率性能,并且能够极大地降低预编码设计的计算复杂度。二、针对单小区多用户MISO预编码场景,以用户权值和速率为目标函数,给出了预编码方案设计的专用RNN实现方法。主要工作如下:1)对预编码设计所对应的数学优化问题,先使用拉格朗日对偶重构和二次变换方法对目标函数重构,然后使用分式规划算法对重构后的优化问题进行迭代求解,并以该算法的输入输出作为专用RNN网络的训练数据;2)为了克服通用神经网络的规模过大或者过小的缺点,根据分式规划算法的迭代特点,设计了一种预编码专用RNN结构;3)提出了一种监督与非监督相互结合的训练方法,先使用监督学习方法进行预训练,然后再使用非监督学习通过所构造的正则化项损失函数进行再训练。仿真结果表明,所提出的算法能够使用较小的神经网络规模来获取相当的和速率性能。三、针对多小区协作多用户MIMO下行传输的预编码问题场景,以用户权值和速率为目标函数,给出了预编码方案设计的分布式MARL实现方法。主要工作如下:1)将预编码设计所对应的数学优化问题,转化为矩阵加权和均方误差最小化问题,使用WMMSE迭代算法进行求解;2)针对无线环境信道动态变化的特征,通过设计MARL结构与强化学习分布式训练和执行方法,提出了一种基于分布式多智能体强化学习的动态预编码设计算法;该算法的训练过程和执行过程均以分布式方式进行,每个智能体跟相邻智能体交换信息来收集状态信息,每个智能体通过观测其状态来设计该小区用户的预编码。仿真结果表明,所提出的算法具有较低的延时,并且系统和速率非常接近采用全局信道信息的WMMSE算法,在动态无线环境中是可行的。四、针对单小区多用户虚拟MIMO用户配对问题,以系统的能量效率为目标函数,给出了用户配对方案设计的强化学习实现方法。主要工作如下:1)为了解决这个非凸的整数规划问题,先给出了该用户配对问题的最优算法和贪婪算法。2)基于强化学习和深度神经网络,提出了智能用户配对算法,并且为了减小算法的动作空间,提出预先选取部分用户的预处理机制;所提出的算法可以与环境进行交互,能够根据环境状态智能在线调整和不断学习逼近目标,除此之外,可以通过历史信道信息尤其是上一时隙的信道信息来推断当前信道信息以进行用户配对决策。仿真结果表明,所提出的算法的能量效率比较接近最优算法,在保证足够的训练时隙时可以略微超过贪婪算法的性能。