强化学习,作为一种通过自主交互从反馈中学习的机器学习范式,已经在包括游戏AI、个性化推荐、自动驾驶等多个领域都表现出巨大的应用潜力。然而,良好的模型表现需要海量的数据作为支撑,与之对应的,是计算资源和时间上的高需求,这阻碍了强化学习大规模的应用落地。知识的有效利用可以大幅减轻模型对和海量数据的依赖,从而建立起鲁棒可信赖的智能系统,但在应用中仍面临着挑战:一方面是模型中的知识如何输出,如何将智能体学习得到的知识从黑盒模型中蒸馏出来,使其能够被传递和理解,即实现模型解释;另一方面是,如何将已有的先验知识融入模型的训练之中,从而提升智能体的能力,使其适应更广泛的应用场景。本文针对这两个问题开展研究,具体工作如下:1.本文针对强化学习的模型解释,提出了一种基于跨模型蒸馏的策略解释方法。该方法通过将黑盒的神经网络模型蒸馏成更具结构化特征的决策树模型,来实现对原模型的解释和验证。考虑到一般的基于监督学习的模型蒸馏方案假设了数据分布的一致性,这在强化学习场景中并不满足,我们提出了一种全新的蒸馏目标。新的蒸馏目标近似最大化累积奖赏,并且重点关注关键状态下的动作,从而能够避免数据分布偏移带来的影响。我们在经典Gym环境和复杂场景下进行了实验评估,验证了在该算法下,不仅蒸馏出来的决策树具备更高保真度更好的表现,对应的解释信息也可以更好地揭示智能体的意图。2.本文针对强化学习中的高效知识融入,提出了一种混合学习和编码的强化编程框架。该框架以函数为桥梁,允许程序员进行代码和神经网络模型的混合编写,以解决复杂任务。相比于指令、语言的形式,程序语言具备表达能力强、无歧义性、结构化程度高等诸多优点,能够以最大限度实现人类知识在模型中的融入。具体的,我们将函数的输入、输出作为神经网络的输入输出,通过混合程序的不断运行来收集数据,进行网络模型训练。强化编程框架既允许为每个函数单独制定交互环境,也支持多个函数的环境共享。为了在后者中消除不同函数学习过程中的不利影响,我们引入了共享的奖赏网络来实现奖赏的重新分配。我们在编程问题、多种强化学习任务上进行了实验验证,在这些经典强化学习无法解决的问题上,强化编程通过合适的编码都能够有效完成。