基于生物特征的身份认证系统吸引了越来越多研究者的关注,生物特征如人脸和指纹在很多门禁系统中被广泛采用。近年来一些研究表明,人类讲话时的嘴唇区域及其运动包含了大量与身份相关的信息,可被用来识别和认证讲话人的身份。基于唇语的身份认证方式具有有很多难以模仿、容易采集、用户接受程度高等优势,因此研究唇语特征具有重要意义。良好的认证性能和保障生物特征的真实性是许多基于生物特征身份认证系统的两个关键要求。为了保障生物特征的真实性,避免重放攻击,本文提出了一种新的具有随机密码的基于唇语的讲话人认证方案。与固定密码场景相比,随机密码的讲话人认证更具挑战性,因为不可能要求系统使用者讲出所有可能的密码组合作为训练样本。为了解决这一问题,本文提出了一种新的深度卷积神经网络,它由三个子网络组成,即唇语特征提取网络、身份认证网络和内容识别网络。在唇语特征提取网络中,采用了一系列的时空残差单元,能够全面地描述唇语生物特征的静态和动态特征。结合身份认证任务和内容认证任务的特点,本文设计了身份认证网络和内容识别网络,并提出了一种端到端的多任务学习方案,可以同时优化上述三个子网络的权重。本文通过实验对固定密码和随机密码两种情况下的认证性能进行了评估。实验结果表明,与现有的几种方法相比,本文提出的方法在固定密码情况下可以获得优越的性能。此外,在随机密码场景中,本文方法也取得了令人满意的认证结果。上述实验结果表明,本文所提方法在具备活体检测功能的前提下能够准确的、鲁棒的认证讲话人身份。