Web服务作为部署在互联网上的组件,展现出良好的封装性、松耦合性和跨平台性。然而单个Web服务的能力有限,不能向人们提供功能更全、更复杂的服务。为了减少开发服务的费用和时间,并实现服务的增值和重用,需要把已有的服务组合起来,形成满足用户需求的组合服务。在服务组合过程中,出现了大量功能相同的服务,利用服务质量(Quality of Service, QoS)选择服务成为了动态服务组合研究领域的一个关键问题。论文根据Web服务组合的特点,以强化学习理论为基础,研究Web服务组合优化方法。一方面首先对现存各种服务组合方法进行分析,并研究了Web服务的QoS属性,给出了QoS模型,然后依据此模型分别介绍了单个服务和组合服务的QoS计算方法。已有的服务组合方法很少考虑Internet环境的动态性和Web服务的随机性,在服务选择过程中产生的是静态规划,从而在服务组合时以较大概率组合失败。针对这个问题,使用马尔可夫决策过程(Markov Decision Process, MDP)对服务组合(顺序、并行结构)进行建模,并使用Q学习算法对该问题求解,得到最优的服务组合策略。实验结果表明使用动态的控制方法具有较高的服务组合成功率。另一方面,在服务组合过程中,响应时间是一个重要的因素,在服务调用过程中会受到网络负载和服务自身的影响。针对这个问题,使用有限状态连续时间半马尔可夫决策过程(Semi-Markov Decision Process, SMDP)对服务组合建模,利用Q学习算法求解最优策略。最后通过仿真实验验证了算法的可行性和有效性。