学习路径推荐是智能导学系统中的重要组成部分。优秀的智能导学系统能够根据不同用户的不同学习需求与学习能力为用户提供个性化的教育资源,帮助用户在学习较少内容的前提下,掌握目标知识技能。强化学习算法善于解决序列决策问题,因此被广泛应用于学习路径推荐场景中。基于强化学习的推荐技术将推荐问题建模为序列决策问题。相较于将推荐问题建模为分类问题和预测问题的传统方法,强化学习不仅考虑到用户的及时反馈,而且能够考虑到用户的长期粘度。然而,与其它诸如电商、电影和广告等推荐场景不同的是,学习路径推荐场景中的智能体往往不会在每步推荐动作后收获到一个即时的反馈,如点击、购买和跳过等,而是在整段推荐过程结束后,通过考试等方式对整个推荐的学习路径进行评估。这导致基于强化学习的学习路径推荐技术中存在奖励稀疏和延迟奖励的问题。在学习路径较长的情况下,奖励稀疏和延迟奖励使得强化学习智能体的学习效率不高,很难给出有效的推荐策略。此外,在学习路径推荐的场景下,强化学习智能体的探索空间较大,智能体推荐的内容难以符合认知逻辑,甚至使用户感到认知断层。受到基于课程学习的强化学习算法的启发,本文提出将协作学习的双智能体——教师-学生智能体应用于学习路径推荐场景中来应对以上挑战,主要工作内容如下:（1）本文将学习路径推荐场景划分为知识点推荐和习题推荐两个层次,采用教师-学生智能体协作学习的模式。在知识点推荐层次中,教师智能体为用户提供学习大纲;在习题推荐层次中,学生智能体根据学习大纲为用户提供适合的习题。（2）在知识点推荐层面,本文引入知识点结构来引导教师智能体为用户提供符合认知逻辑的学习大纲。教师智能体遵循知识点结构,为用户推荐当前适合学习的知识点,使得推荐路径遵循知识点之间的先序关系。此外,该方法能减少教师智能体无意义的探索,起到加速收敛的作用。（3）在习题推荐层面,本文引入应用在强化学习领域的课程学习方法,以提高学生智能体在奖励稀疏情况下的学习效率。学生智能体将事后经验回放与离线学习相结合,使得学生智能体能够从以往失败的经验中进行策略学习。在智能体学习的过程中,根据不同的学习阶段设置相应的学习伪目标,这些伪目标的设置以一种隐式课程的形式指导学生智能体进行学习,起到加速学习和提升学习效果的作用。（4）为有效地利用离线数据对本文提出的教师-学生智能体协作学习模型进行训练和评估,本文构建学习路径推荐场景下的环境模拟器。为验证模型的有效性和收敛性,在Junyi academy和ASSISTments2014-2015“skill builder”两个数据集上进行消融实验和对比实验,并将用户在学习过程中的学习效率作为对学习路径的评价指标。实验结果表明,引入知识点结构和课程指导的教师-学生智能体协作模型能够在奖励稀疏的场景下有效地进行策略学习。与其他传统模型相比,本文提出的模型能够使用户达到较高的学习效率,并且对于较长的学习路径表现得更好。