面向服务的架构如Web服务技术，以及Agent技术已经被广泛地应用于各个IT领域。基于Web服务和Agent而提出的服务Agent技术，是对二者的有效结合。它既满足了Web服务的可重复性，低耦合性，又包含了Agent的持续性、自治性、交互性等特性。作为智能Agent的一个重要特性，它必须也能具有学习的能力，即通过过去的经验，面对新的任务能够自主而快速地找到一个较为优化的解。本文首先提出了一个服务Agent的模型结构、语义架构以及服务Agent应用于Web服务组合的工作机制，然后给出了一种新的高效的服务Agent学习算法。该算法基于强化学习和团队马尔科夫博弈过程，并做出了相应的优化，使得在复杂环境下，尤其是多Agent环境下，该学习算法能够利用过去所学习到的知识，快速地达到收敛。该算法利用Q学习的理论基础，兼顾了多Agent之间博弈和协商，同时还能支持对知识模型的动态存储和更新，从而实现在多Agent条件下也能快速收敛。