随着计算机技术与互联网技术的快速发展,软件系统已经应用到人们生活的各行各业,越来越多的软件系统部署在Internet平台上,使得软件系统的信息交换与共享速度越来越快,同时,系统的功能性也在不断的增强。但是,由于网络环境的不确定性和不可预知性同样也给软件系统带来了新的问题,即如何在动态多变的网络环境下使得系统的灵活性更好、健壮性更强、扩展能力更方便成为了软件工程领域关注和研究的热点。为了提高系统的灵活性、健壮性和扩展能力,相关研究者希望软件系统具有自主感知环境变化的能力,根据相关变化主动的调整自身结构或行为以适应环境的变化,即希望软件系统具有自适应能力简称自适应系统。当前,自适应系统的研究主要包括感知技术、决策规划技术和演化执行技术。然而,自适应系统中适应能力的优劣直接影响系统的灵活性、健壮性和扩展性,同时适应能力的强弱又是通过系统的自适应策略来体现的,所以研究其自适应策略具有重要的科学与理论意义。目前,自适应策略的制定主要是由软件设计人员和开发人员根据以往的开发和维护经验进行制定的,但是由于环境的不确定性和不可预知性,使得这样制定的策略适应性不强,智能性也不高。因此,本文主要针对自适应系统的决策规划理论研究中自适应策略智能性不高、适应能力不强等问题展开研究。首先,本文从全局视角和宏观角度出发,基于关注分离的原则,建立一个层次式的基于动态软件体系结构的自适应软件框架模型,并探讨自适应的运行机制。其次,针对目前自适应策略的智能性和适应力不强的问题,将自适应策略分为预设的策略和非预设的策略分别进行研究。针对预设的策略,本文在基于ECA(Event Condition Action)调整机制的基础上,从用户角度和供应商角度出发提出一种基于效用理论的复合优先级ECA调整机制,以解决用户偏好和多目标问题;针对非预设的策略,本文结合机器学习中强化学习技术对系统的非预设策略进行在线学习定制,并对学习的算法进行改进,以提高学习速度和收敛周期,使得系统在线制定策略的实时性增强。最后,本文将改进的算法应用于机器人在迷宫环境中规划最优路径的案例中进行分析实现,以验证该算法的正确性、可行性和有效性,实验结果表明改进的学习算法比之前的学习算法在学习速度和收敛周期都有所提高。