服务机器人是机器人行业重要的一个研究方向。近几年,面向教育、医疗、家居等行业的服务机器人在市场上涌现,但是当前服务机器人行业普遍没有得到用户的良好反应,其主要原因在于技术积淀不足,很多技术问题尚未解决。例如服务机器人为了和人进行友好的交互,一般需要服务机器人的感知器能够主动对准人脸,实现面对面交流的效果。然而现有的方法只能在人脸已经进入机器人视野后,机器人才能意识到已经有人出现,不能通过人的其他身体部位进行判断。另外,服务机器人的陌生人报警和面向不同用户进行个性化交流的功能,都需要机器人进行人脸识别,这就要求机器人能够主动感知人脸所在位置。这样不仅能够在感官上提升人和机器人的交互体验,更是正确识别不同人身份信息的重要条件。在现有的技术方案中,通常需要人配合机器人,自主移动到机器人的视野中,然而在大部分情况下,人只是走进了机器人的视野,机器人却没有或者很难感知到完整的人脸信息。如何让机器人主动的进行人脸感知,并通过调整自身姿态来获取更多有用的信息,这个问题就是本课题着重解决的问题。针对上文所提出的问题,我们希望通过训练得到一个决策网络,该网络能够根据当前机器人所获得的信息推断目标位置并执行相关动作。这一过程被定义为主动人脸感知问题。主动人脸感知问题可以建模为马尔可夫决策过程,从而采用深度强化学习算法训练智能体完成主动人脸感知任务。本文基于深度强化学习算法,实现了主动人脸感知,完成的工作可以分为以下几个方面:1、介绍了主动人脸感知问题的研究现状,通过分析国内外的研究成果,结合服务机器人的实际情况,归纳出本文所解决的问题:在人脸未进入机器人视野的情况下,如何主动寻找人脸。通过对强化学习、深度学习和深度强化学习的理论研究,本文提出了一种采用深度强化学习算法进行主动人脸感知的方法。2、详细介绍了深度强化学习的基础算法深度学习和强化学习,在总结他们的算法原理和优缺点的基础上,概况了深度强化学习在解决主动人脸感知问题中的优势。3、将主动人脸感知问题建模为马尔可夫过程。从理论上论证,本课题提出的深度强化学习方法能够训练策略网络来解决人脸感知问题。4、由于在实际场景中验证算法会花费大量的人力物力,本工作先构建了一个仿真的实验场景。在仿真场景中对算法进行验证,确保算法可行性的基础上,再将算法移植到实际场景中进行验证。5、本文把深度强化学习算法应用在实际的场景中。采用一个主动相机来模拟服务机器人,训练机器人在只看到人脚的时候,能够主动地寻找到人脸。通过实验验证,本文提出的方法有效地解决了主动人脸感知问题,通过仿真和离线两种训练方式,有效的推动了主动人脸感知技术在实际场景中的应用。