人们对通信传输速率和系统容量的需求持续增长,给有限的频谱资源带来了巨大压力。目前主流的解决方案有两种,一种是探索更多的频谱资源,另一种是提高频谱效率。全双工（Full-Duplex,FD）通信技术能够使通信设备在同一频段上同时进行通信,理论上能够实现频谱效率的倍增,在第五代移动通信（The fifth generation mobile communication technology,5G）和未来的移动通信中,有广阔的应用前景。目前,全双工通信技术的实际应用面临两大挑战。首先,同时同频的通信会带来严重的自干扰,自干扰消除是全双工通信技术在实际中应用的前提。其次,将全双工技术部署在实际通信系统中,关键是要解决系统资源优化问题,保证全双工通信系统的性能。针对自干扰消除问题,传统的最小二乘（Least-Squares,LS）算法能够准确估计干扰信号,但计算复杂度较高。基于该算法,本文采用机器学习中的深度展开（deep unfolding）技术,提出了一种基于deep unfolding的自干扰消除算法。仿真结果表明,所提算法的性能可以接近LS算法性能,同时有效降低了LS算法的计算复杂度。针对资源优化问题,本文主要从两方面开展了研究。第一个方面是全双工通信系统中的用户匹配问题。在一般的通信场景中,宏基站具备全双工通信的能力,而用户采用半双工通信模式,要实现系统容量的最大化,需要选择合适位置的上下行用户与基站进行全双工通信,匹配成全双工用户对。该问题通常被建模为一个具有非确定性多项式（Nondeterministic Polynomial,NP）难度的混合整数规划问题。本文提出了一种基于强化学习的算法来完成用户匹配,基站可以在与环境的不断交互中,学习到最佳的匹配算法。与传统匹配算法相比,所提算法具有更低的计算复杂度,且当系统用户数目发生变化时,模型不需要重新训练就可以直接应用。第二方面是全双工通信系统中的功率分配问题。由于上下行用户同时同频与全双工基站进行通信,在进行功率分配时,不仅需要对下行功率进行合理分配,还需要调整上行功率的大小,以减轻同信道干扰对系统性能的影响。同时需要满足基站的总发射功率限制以及用户的服务质量需求限制。该问题通常被建模为一个非凸的优化问题,本文提出了一种基于强化学习的功率分配算法,基站通过做出动作与环境不断进行交互,从经验中学习到最优功率分配策略。实验结果表明所提算法的性能接近传统数学优化算法,同时具有较低的计算复杂度。