提升无人平台的自主能力是未来智能化无人作战亟需解决的关键问题。无人平台自主能力的核心之一是其在不确定环境中自主学习和规划的能力。然而,智能体学习和规划过程中面临着两大难题:环境的不确定和问题规模的增大。环境模型不准确、行动效果不确定、环境动态变化等不确定因素,以及随着问题规模的增大导致状态空间大、动作空间大和任务周期长等特点,为智能体自主学习和规划带来了巨大的挑战。针对上述问题,本文以马尔科夫决策过程建模不确定环境中的学习和规划问题。在此基础上,以人类智能中的行为分层结构理论为出发点,将马尔科夫决策过程求解算法与行为/任务的层次结构有机结合,构成分层学习和规划的样式,在满足马尔科夫性质的不确定环境中对分层学习和规划方法展开研究。本文工作主要围绕两个研究问题展开,一是如何有效学习行为/任务的层次结构,提高智能体在未来任务中解决问题的能力;二是如何有效应用行为/任务层次结构,提高智能体的在线任务规划性能。论文主要研究成果如下:1.面向层次结构的学习问题,提出了基于内部激励的探索和学习算法。人类从婴儿时期开始,在内在动机的激励下不断探索环境,学习大量的运动和认知技能,这一阶段所学的技能虽大多数并非出于生物学上的即时需求,但是却显著提高了人类的生存和适应能力。基于这一生物现象,本文针对智能体在未知环境中的模型学习和分层技能学习问题,提出了基于内部激励的探索和学习算法。该算法结合了基于内部激励的探索策略、回报独立的增量更新规则以及交替模型学习和策略更新的方法,实现了对未知环境的逐步建模和增量的分层技能学习。2.面向单对多智能体对抗任务中的层次结构应用问题,提出了基于MAXQ引导的分层蒙特卡洛在线规划方法。在单对多智能体对抗任务中,由于问题复杂度随着规划时间呈指数增长,导致智能体无法进行有效的行为决策,针对该问题,本文提出了基于MAXQ引导的分层蒙特卡洛在线规划方法HMCTS-OP（Hierarchical MCTS-based Online Planning）。HMCTS-OP通过在MCTS（Monte Carlo Tree Search）算法中引入MAXQ分层任务结构,可以显著降低在线规划问题的计算开销,从而使得MCTS可以进行更加深入的搜索以找到更优的规划策略,提高算法性能。同时,HMCTS-OP通过纯采样的方式计算分层任务的回报,解决了在不确定环境下无法显式估算子任务的完整转移模型这一难题,扩展了算法的适用范围。3.面向多对多智能体对抗任务中的层次结构应用问题,提出了基于混合采样的多智能体分层在线任务规划方法。在多对多智能体对抗任务中,由于任务周期长,决策时间受限,状态空间和分支因子大以及环境动态变化、任务执行效果不可预知等诸多因素,导致计算复杂度过高,求解困难,无法满足在线规划过程中的实时性需求。针对该问题,本文提出了一种基于混合采样的多智能体分层在线任务规划方法。该方法将基于混合采样的蒙特卡洛在线规划方法融合进分层规划框架中,利用高层子任务引导MCTS的搜索过程,约束搜索空间,提高MCTS搜索效率。最主要的是,该方法提出了基于贪婪和Thompson采样的混合采样策略,加快了采样收敛速度,扩大了MCTS可应用问题的规模。4.面向人机协同任务中的层次结构应用问题,提出了基于元控制和底层控制的人机协同分层任务规划框架。在作战过程中,作战环境复杂,作战任务多变等不确定性因素,极大地限制了无人平台自主能力的发挥,降低了平台执行任务的可靠性。针对该问题,本文在OODA（Observe-Orient-Decide-Act）作战决策过程描述模型的基础上,以战术层面的任务规划为牵引,提出了基于元控制和底层控制的人机协同分层任务规划框架。有人指挥控制平台负责高层策略规划,粗粒度的指挥控制将大幅度降低对指控人员注意力和实时操控的需求,从而可以实现一人多平台（编组）的远程控制需求。无人平台负责底层自主行为决策,即底层控制,框架通过顶层规划策略引导底层自主行为决策过程,减小复杂环境对平台自主能力的影响。在任务执行过程中,高层策略规划模块和底层行为决策模块通过任务监控模块交替执行,从而将机器智能和人类智能有机结合,发挥人员和平台的最大协同作战效能。案例实验表明,该框架在任务的多个阶段都可以有效提高资源利用率和任务性能。