近年来,随着移动通信的发展,大规模三维多输入多输出(Three Dimension Multiple Input Multiple Output,3D MIMO)技术成为第五代移动通信(Fifth Generation,5G)的关键技术之一,该技术在传统的大规模2D MIMO之上引入了信号传播的俯仰角,从而可充分地利用水平与垂直维度,增加了调度和资源分配的自由度,极大地提高了系统容量。人工智能(Artificial Intelligence,AI)技术的再次兴起,为解决大规模3D MIMO中的各种问题提供了一种新的途径,对复杂度、运行时间和收敛速度等方面都有极大的改善。本论文重点关注大规模3D MIMO系统与机器学习的交叉研究,主要研究内容如下:在频分双工(Frequency Division Duplex,FDD)模式下,为了获得潜在增益,需要将下行链路信道状态信息(Channel State Information,CSI)通过反馈链路发送到基站(Base Station,BS),用于预编码。然而,大规模3D MIMO系统中大规模的天线阵列的存在必将导致反馈开销急剧增加。针对大规模3D MIMO系统的信道反馈问题,本论文提出了一种基于深度神经网络的CSI反馈框架即LA-Csi Net,在收发两端实现CSI矩阵的压缩和恢复,有效降低CSI反馈开销。首先,在接收端利用三维卷积神经网络(Three Dimension Convolutional Neural Network,3D CNN)和长短期记忆(Long Short-Term Memory,LSTM)网络搭建LA-Csi Net编码器,将下行链路CSI矩阵压缩成一个低维矢量,并反馈给基站;然后,在基站端利用残差网络搭建LA-Csi Net解码器,并在残差网络中引入新颖的自注意力机制来进行CSI矩阵的恢复,提取更多的有效信息,提高恢复精度。仿真结果表明,所提方案较传统的基于有限反馈码本的方案以及现有的深度学习方案相比可以以更优的性能恢复下行链路CSI矩阵;同时,所提方案收敛速度较快,可以用更短的时间达到更好的性能。在大规模3D MIMO系统中,波束成形可进一步改善系统性能,形成高增益波束,增加系统的吞吐量。传统上,波束分配被看作一个优化问题,由于大多数波束分配问题都是非凸的,很难实时获得最优解。为了在短时间内更好地优化大规模3D MIMO系统的波束分配,本论文提出一种基于用户位置和机器学习的波束分配法(LMLBAA)。该算法吸取k近邻(k-Nearest Neighbor,k-NN)或支持向量机(Support Vector Machine,SVM)的思想,以用户终端(User Equipment,UE)的位置信息作为特征向量,以生成的波束所对应的预编码码字索引为类,构造多分类器。当新的用户设备接入时,基站根据多分类器的决策结果为它们选择合适的码字并进行预编码,形成相应的服务波束。仿真结果表明,系统初始化过程中收集到的用户位置信息越多,所提算法的性能就越好;同时,随着发射信噪比的增加,系统的平均可达和速率不断增加,且趋近于穷举搜索法的结果。