随着移动互联网技术和物联网技术的迅速发展,无线通信设备的数量呈爆炸式增长。海量的无线通信设备不仅会产生巨大的能量消耗,同时还会对无线通信网络的带宽资源和计算资源有极大的需求。然而,无线通信网络的带宽资源是有限的,单纯地增大能量和计算资源的投入不但很难满足无线通信设备对其日益增长的需求,而且会增加运营成本,造成资源的浪费。合理的资源管理方法能够在满足无线通信设备业务需求的基础上大大地降低资源的开销。资源管理方法可以分为时间点上的管理方法和长时间资源管理方法。时间点上的资源管理方法不考虑当前决策对未来决策的影响,因而不能产生时间上的资源调度增益。一种长时间资源管理方法是假设一段时间内影响决策的环境信息已知,利用静态优化的方法求解每一步的最优决策。因为无线通信环境是随机的,未来时刻环境信息已知的假设在实际中无法实现。还有一种长时间资源管理方法假设环境信息是随机的,但不同时间点上的信息服从独立同分布。这种假设下的决策策略没有考虑无线通信环境信息的时间相关性。本文利用马尔可夫决策过程(Markov Decision Processes,MDP)建模无线通信中的资源管理问题,假设相邻决策时刻的环境信息具有马尔可夫性,充分考虑环境信息的时间相关性,是建模随机序贯决策问题的有效方法。在本论文中,利用马尔可夫决策过程或半马尔可夫决策过程(Semi-Markov Decision Processes,SMDP)建模射频能量(Radio-Frequency,RF)收集通信,可再生能量收集通信以及云-雾计算系统中的资源管理问题,并利用基于模型的规划算法或免模型的强化学习算法求解最优资源管理策略。首先,研究了专用射频能量源供电的低功耗传感器能量分配问题。由于电磁波在无线信道中衰落严重,专用射频能量源能够近距离提供充足的射频能量。考虑两种常用的传感器工作模式,分别是频分复用模式和时分复用模式。因为射频能量传输链路较短且存在视距路径,所以假设射频能量传输信道服从莱斯分布。假设信息传输信道只存在散射链路,因而将其建模为瑞利衰落信道。将两条信道的功率增益离散化并分别建模为有限状态马尔可夫链。用离散时间无限阶段折扣马尔可夫决策过程描述能量收集和信息传输过程,用值迭代算法搜索渐近最优策略。在频分复用模式下的渐近最优策略中,理论证明了传感器发射能量随着电池能量状态的增大而单调非减。利用这种单调性简化了渐近最优策略的搜索范围,降低了迭代算法复杂度。相比之下,时分复用模式不存在这种单调性,对此作了仿真验证并给出了造成这种结果的原因。其次,研究了太阳能辅助的异构网络,并提出了基于半马尔可夫决策过程的下行数据包调度策略。分析了影响太阳能辐射强度的因素,用连续时间马尔可夫链(Continuous-Time Markov Chain,CTMC)建模太阳能辐射强度变化过程。用泊松过程建模下行数据包到达过程。推导了电池、太阳能辐射强度和事件的复合决策状态的转移概率和折扣转移概率,利用平均准则下的相对值迭代算法和折扣准则下的值迭代算法求解了渐近最优数据包调度策略。然后,利用半马尔可夫决策过程对云-雾计算系统的虚拟机分配问题进行了建模,并分别采用基于模型的规划算法和免模型的强化学习算法求解渐近最优虚拟机分配策略。在执行规划算法之前,需要训练状态转移概率和相邻决策时刻之间的期望时间间隔。对于一般化的半马尔可夫决策过程,模型的训练是相当困难的,尤其在系统具有大规模状态空间或行动空间的情况下。为了方便训练模型,将半马尔可夫决策过程退化为连续时间马尔可夫决策过程(Continuous-Time Markov Decision Process,CTMDP)。在这种情况下,只需要训练服务请求到达率和服务结束率就可以推导出状态转移概率和相邻决策时刻的期望时间间隔。此外,提出了免模型的强化学习算法求解最优虚拟机分配策略。这种方法是通过学习反馈的状态和收益来逐渐逼近最优策略。仿真结果显示免模型的强化学习算法能够收敛到与基于模型的规划算法相近的水平。最后,利用受约束半马尔可夫决策过程建模无线接入云-雾计算系统的时延约束条件下虚拟机与无线带宽联合分配问题,并利用多时间尺度行动者-评论家(Actor-Critic)强化学习算法更新策略参数,值函数参数以及拉格朗日乘子,从而不断改进约束条件下的资源分配策略。