任务型对话系统是对话系统领域的分支之一,旨在采用自然语言的方式帮助用户完成某一特定任务,如今在个人助理、客服等方面有着广泛的应用。对话管理模块是任务型对话系统的核心,负责控制整个对话过程,帮助用户高效完成目标,是系统稳健性的重要保证。近年来以强化学习为基础并结合深度学习的深度强化学习方法充分利用深度学习与强化学习的优势,在处理序列决策问题上具有很好的效果。鉴于这一优势,本文采用深度强化学习方法针对对话管理展开研究,并对基于强化学习的任务型对话系统的代理和环境两方面开展了如下工作:(1)在代理方面,本文使用联合强化学习方法建模对话管理,针对经典深度确定性策略网络(Deep Deterministic Policy Gradient,DDPG)算法只能处理连续性任务,而不能解决离散型任务的问题。本文通过改进DDPG模型中策略网络输出层的结构使其适合于处理本文动作离散的对话任务。在训练过程中代理充分利用DDPG模型的优势,能够加快模型的收敛速度,找到更优的对话策略。(2)在环境方面,针对用户模拟器存在的设计缺陷,与真实用户存在很大差距,在一定程度上会对代理训练造成负面影响的问题,本文通过引入世界模型模拟环境(用户模拟器)的响应并生产模拟经验样本数据,使代理训练不完全依赖用户模拟器提供的真实经验。最后通过规划步骤将以上两种改进方法结合起来以提升代理的训练效果。本文结合以上两方面的改进提出了一种结合规划的离散DDPG模型,设计了求解算法,并以预订电影票的对话任务为例,设计并实现了一个能够预订电影票的对话系统。实验结果表明,本文所提出的算法能够帮助代理更快地找到成功的对话策略。