在第五代移动通信（5-th Generation Mobile Communication,5G）系统中,资源受限的机器类型通信设备（Machine Type Communication Device,MTCD）数量不断增加,给蜂窝网络带来了独特的技术挑战。为了满足远程医疗,自动驾驶等场景中MTCD的严格延迟和可靠性要求,设计更加先进的随机接入技术变得尤为迫切。同时由于频谱资源稀缺,且MTCD能耗受限,因此对B5G（Beyond 5G,B5G）异构网络的频谱效率和能量效率提出了更高的要求。为了解决机器类通信系统（Machine Type Communication,MTC）接入能力不足以及资源分配问题,本文结合强化学习的思想,针对延迟容忍度低的MTCD提出了基于学习的接入策略以及异构网络下的资源分配方案,主要成果如下:（1）针对随机接入过程中因为前导码资源有限而引发前导码冲突的问题,提出了一种基于多智能体强化学习的接入方法。本文引入两步随机接入过程,基站可以得到当前接入时隙的接入数量和冲突概率。不同于传统的静态退避机制,本文首先求解最优接入数量和分析各个前导码的使用情况,然后设计包含接入流量控制和前导码资源要素的强化学习框架,定义动作-状态对,使得MTCD在接入之前可以分析当前环境,做出退避决策,同时选择合适的前导码进行接入。（2）针对深度神经网络（Deep Neural Networks,DNN）中黑匣子的缺点,提出了一种模型驱动的强化学习异构网络资源分配方案。首先将频谱效率函数作为目标优化函数,发射功率作为约束,采用交替方向乘子法迭代求出最优解;然后将迭代的过程与DNN相结合;最后构建基于模型的强化学习框架,得到当前状态下最佳的资源分配策略。（3）为了保证下行链路用户服务质量,提升异构网络的频谱效率和能量效率,提出了一种基于多智能体深度强化学习的频谱和功率联合分配算法。本文以频谱利用率和能量效率为优化目标,用户服务质量为约束,得到资源分配优化函数。然后定义多智能体用户状态空间,奖励以及动作空间通过较小的通信开销获得状态空间信息,得到一维状态空间数据,从而减少网络的输入数据量。用户以自身的信道状态信息得到状态空间,而不依赖全局信道状态信息,再根据状态空间信息得到频谱和功率分配策略。最后,通过训练深度神经网络找到最佳的资源分配策略。