具有抽象机制的分层强化学习方法可以实现状态空间的降维,从而解决大规模系统中的“维数灾”问题。由于引入了状态抽象机制,分层强化学习可以加快策略学习的速率并且节约学习过程中状态-行动对的存储空间。典型的分层强化学习有Option算法、HAM算法以及MAXQ算法。然而传统的分层强化学习算法大都是建立在离散时间半Markov模型或者离散时间多Agent半Markov模型的框架下的,无法解决连续时间情况下单Agent、多Agent的学习系统问题,并且算法只能单独适用于平均准则或者是折扣准则。本文在性能势理论框架下,结合现有的MAXQ算法思想和连续时间SMDP模型,提出一种同时适用于平均和折扣性能准则的连续时间统一MAXQ算法。由于Web服务组合问题可以建模成半Markov决策过程模型,因此本文将提出的算法应用于Web服务组合问题中,以验证算法具有实际意义。另外,通过旅游预订系统作为仿真实例,说明该算法与Q学习相比,具有优化精度高、优化速度快和节约存储空间的优势。但是,由于单Agent的能力有限,越来越多的复杂问题需要通过多Agent的相互协作来解决。因此本文结合性能势理论和之前构造的连续时间统一MAXQ算法思想,又提出了一种同时适用于平均和折扣性能准则的多Agent连续时间统一MAXQ算法,并将该算法应用于解决多Agent连续时间Web服务组合问题中。最后通过旅游预订系统作为仿真实例,说明该算法比single-Agent MAXQ和selfish multi-Agent MAXQ算法都具有更好的优化效果,同时也加快了学习速率且节约了存储空间。