近年来,随着强化学习方法在各个领域所取得的显著成绩,如何优化强化学习方法的学习过程得到了越来越多的关注。由于强化学习的学习机制,智能体需要在学习过程中不断试错,利用收集到的样本积累经验,更新自身策略。在强化学习算法的应用中,由环境状态特征不明确、回报值稀疏、样本质量低、探索空间过大等所导致的学习效率低下问题成为强化学习所面临的一大挑战。人工势场法所提供的势函数可以形式化地表示当前观测状态中的态势分布,并具有数学描述清晰、计算复杂度小等特点。利用人工势场法为强化学习过程引入环境态势先验信息,为解决强化学习算法的学习效率低下问题提供了一种新思路。本文针对该问题展开研究,结合人工势场法在单智能体和多智能体场景下分别从不同角度切入对强化学习方法进行优化,主要研究内容如下:（1）针对如何从环境中获取有效状态特征的问题,结合人工势场图的计算,提出了一种基于人工势场的状态特征设计算法。该算法通过从观测状态对应的人工势场图中提取人工势场特征,对状态特征空间进行丰富。该算法在原有状态特征基础上加入势场信息,从而丰富智能体获取的环境信息,提升强化学习智能体的学习效果。通过在Pommerman平台上对基于人工势场的状态特征设计算法的有效性和超参数值设定开展实验,得到结果表明加入该算法在不同难度的场景下都可以提升基线算法的训练效果,并且对人工势场计算的超参数值设定具有一定的鲁棒性。（2）针对环境中回报值稀疏,学习经验难以稳固的问题,提出了一种基于人工势场的奖励设计算法。该算法通过人工势场函数构造出基于势的奖励函数,并添加到环境原奖励函数上构造稠密的反馈信号,对学习过程进行引导,从而提高强化学习算法的学习效果。之后对基于人工势场的奖励设计算法的最优策略一致性进行了分析,并指出加入该算法不会改变学习到的马尔科夫决策问题的最优解。实验验证表明,该算法在不同难度的场景下都可以提升基线算法的效果,并且对不同的基线算法具有良好的泛化性。（3）针对智能体学习过程中由随机性探索引起的样本质量低下问题,提出了基于人工势场的辅助任务算法,该算法在强化学习算法过程中加入基于人工势场的辅助函数,鼓励智能体在训练过程中向人工势场下降的方向探索,从而减少学习过程中重复无用经验积累。之后本文在炸弹人（Pommerman）平台上对基于人工势场的辅助任务算法的有效性和超参数值设定展开实验,表明了该算法对基线算法显著的提升效果。最后通过进一步实验对基于人工势场的状态特征设计算法、基于人工势场的奖励设计算法和基于人工势场的辅助任务算法三个算法之间的相互影响进行了探究,结果表示,当三个算法同时应用时对强化学习算法的提升效果最大。（4）针对多智能体环境中的不稳定性问题和解空间维度爆炸问题,提出了基于人工势场的动态权重学习算法和基于人工势场的多智能体最大熵强化学习引导算法。基于人工势场的动态权重学习算法根据智能体周围状态所对应的人工势场值,自适应地调整网络参数,在不增加网络深度的情况下提升智能体模型的表达能力,更有利于智能体间的协作学习。基于人工势场的多智能体最大熵强化学习引导算法利用具有态势先验知识的策略熵调整智能体的学习目标,进而引导智能体进行更有效的动作探索。在星际争霸II平台中不同难度的微观对战场景上进行的实验结果表明,这两个算法在不同难度场景下都能显著提升基线算法的胜率,并学习到表现优异的协同策略。