近年来，以机器学习为代表的各种人工智能算法在包括语音识别、图像检测与处理、文本检测与挖掘等领域取得了重大成功，但其在无线通信领域的研究仍方兴未艾。机器学习的各类算法在无线通信系统的各个层次均有应用前景。在应用层，移动数据经常展现出强烈的隐含特征，比如用户的移动模式，以及数据内容的空间、时间和社交相关性。移动数据的这些特殊特征使我们有机会利用机器学习的各种算法对其进行分析和挖掘，如社交关系预测、流量预测。在接入层，机器学习的各种算法如强化学习可以用于控制用户的小区切换、接入控制、无线资源管理与分配等任务。在物理层，目前有各种研究利用神经网络等机器学习算法进行信道估计、信道编码以及多输入多输出(Multiple Input Multiple Output，MIMO)系统的多用户检测等任务。总而言之，机器学习的各类算法在无线通信领域有极为广阔的应用前景和研究价值。　　本文针对无线通信系统中的各种场景和问题，将其建模或变换成为适合机器学习各类算法解决的问题，并与传统解决方法进行对比，发现机器学习算法具有各种优势和极大的应用价值。全文贡献如下:　　第一，本文研究了共同使用非授权频段的授权辅助接入(Licensed Assisted Access，LAA)网络与无线保真(Wireless Fidelity，WiFi)网络共存情况下，两个网络的下行流量如何公平管理的问题。为此，本文推导出了LAA网络与WiFi网络的吞吐量模型，并将此问题建模为一个LAA网络总体效用最大化问题。本文分别使用了遗传算法和强化学习算法对问题进行求解，结果发现两者针对本问题性能接近。但相比于遗传算法的离线式求解，强化学习算法既能在线学习也能进行增量式学习，结果具有更好的时效性。　　第二，针对非线性时变信道的均衡问题，本文提出了一种基于深度学习的无线信道均衡算法。该算法由一个流水线式神经网络构成，分别包含卷积神经网络部分和循环神经网络部分。利用卷积神经网络强大的特征提取能力和循环神经网络的记忆性，该算法比传统信道均衡算法在误符号率性能上有较大提升。　　第三，针对大规模MIMO的网络覆盖和容量优化问题，本文提出了一种基于深度强化学习的网络覆盖和容量联合优化方案。该方案主要依靠一个基于深度强化学习的用户调度算法，以及一个小区间干扰协调方法。此外，本文还提出了两个用于用户调度的参数，并利用深度强化学习算法对参数进行动态配置，仿真结果表明该算法可以较大地提升网络覆盖和容量性能。