智能客服系统是任务型对话中的一个重要应用。智能客服系统相比人工客服而言,解决问题能力更加高效,而且成本更低,因此受到了工业界大量企业的亲睐。比如在电商领域,阿里小蜜、京东小咚等产品都是典型的智能客服系统。在政务客服领域,同样需要智能客服助力。目前,很多政府部门都提供了智能客服系统,比如北京政府的智能咨询机器人“京京”、上海政府的智能客服“小申”等。这些政务智能客服系统可以为公众提供权威的政策咨询服务,大大提升了公众的使用体验,提高了政府网站的在线服务能力和水平。本文基于任务型对话,将深度强化学习技术应用于政务智能客服系统的实现中,以改进当前政务智能客服系统存在的问题,从而使政务服务更加智慧化,进一步提高我国政务平台服务水平。当前的政务智能客服系统通常存在如下问题:1)基于向导的咨询系统:通过向导程序实现办理业务定位然后进行信息反馈。其流程复杂,每次交互咨询人只能输入很少信息,导致花费大量时间用于逐步完成信息输入与判断。2)基于检索的咨询系统:没有真正的咨询系统,通常利用文件检索系统替代咨询系统。3)提供基于对话的咨询系统,总体上仍然是向导程序的自然语言版本而已。本文的创新点是基于深度Q网络技术,构建一个DQN Agent对话策略学习模型,并把它应用于政务智能客服系统的对话策略模块。与传统的基于FAQ检索或者基于规则的对话系统相比,本文构建的基于DQN智能体的政务智能客服系统更具有灵活性和智能性。本文致力于实现一个服务于电子政务咨询领域的智能客服系统,提出使用深度强化学习方法,去解决智能客服系统对话策略的学习问题。基于深度强化学习方法的对话策略学习模型可以使得智能客服系统能够在更多的任务领域中应用,帮助用户完成更多的任务。结合电子政务咨询领域中的业务诊断任务,本文对基于深度强化学习的对话策略学习模型的设计、构建、实现以及这种方法实现的性能质量、优缺点等方面进行了研究。并详细介绍了基于任务型对话的政务智能客服系统的实现过程以及DQN Agent模型是如何指导该智能客服系统进行对话决策。本文主要包括如下内容:（1）基于深度Q网络方法构建政务智能客服系统的对话策略学习模型。该对话策略学习模型使用深度强化学习算法——深度Q网络DQN算法来构造一个智能体DQN Agent。本文在训练DQN Agent时,采用了强化学习中著名的ε贪婪搜索（ε-greedy exploration）策略,从而可以尽量多地探索到不同对话状态下的奖励值Reward情况。相比于其他对话策略学习模型,本文基于深度Q网络方法构造的对话策略学习模型完成任务所需要的对话轮数更少,并且在策略探索上更具有个性化。（2）构造电子政务咨询领域的对话数据集。由于目前政府的政务电子化在全国各级政府中的覆盖率并不高,并且由于政府事务具有保密性等原因,政务咨询领域内目前还没有高质量的对话语料公开发表。因此本文结合电子政务咨询领域的实际应用场景,比如首次办理护照、养狗登记、补办港澳台通行证等任务场景,构造了上千段不同对话场景的中文数据集。除此之外,本文还将已经构造好的语料进行分词和标记,处理成槽值对信息的格式,以便用于对话策略学习模型的训练。