新闻中的图像常含有人脸,对应文本中常含有图中人脸的姓名。图文联合的新闻图像人脸标注的任务是利用这样的新闻图像-文本数据集学习一个人脸标注模型,为未知的新闻图像中的人脸标注姓名。它是新闻内容自动分析、新闻聚合等领域的支撑技术,具有广阔的应用前景。当前图文联合的新闻图像人脸标注通常包含三个关键步骤:预处理、人脸消歧和训练人脸标注模型。预处理负责从原始的新闻图像-文本数据集中提取人脸和姓名,得到弱标记人脸数据集;人脸消歧是求解出弱标记人脸数据集中人脸和姓名的对应关系,得到强标记人脸数据集;训练人脸标注模型是利用强标记人脸数据集训练标注模型。尽管现有研究取得了丰硕的成果,但在预处理、人脸消歧和训练人脸标注模型中仍存在一些不足,主要体现如下:(1)图像中有时会含有一些没有分析价值的背景人脸,它们会对人脸消歧造成干扰,但现有预处理方法缺乏对消除背景人脸的研究;(2)现有消歧算法对人脸间的约束关系利用不足,通常只利用了相似人脸具有相同姓名的约束,缺乏对差异较大的人脸具有不同姓名的约束的利用;(3)在训练人脸标注模型过程中,现有方法通常只利用人脸相似度信息,对有助于人脸标注的其他多模态信息利用不充分。本文针对以上问题展开研究,主要工作如下:(1)针对背景人脸干扰的问题,提出一种基于鲁棒主成分分析的背景人脸消除算法,在预处理步骤中增加背景人脸消除环节,删除弱标记人脸数据集中的背景人脸。本文基于弱标记人脸数据集中背景人脸是离群点的假设,通过度量人脸的离群程度来检测背景人脸。具体地,首先对数据集进行采样获得多个训练子集;然后结合鲁棒主成分分析算法,利用每个训练子集训练一个背景人脸基检测器来独立地度量人脸离群程度,并将所有基检测器的度量结果相加作为人脸的最终离群程度;最后,将离群程度偏高的人脸判断为背景人脸并消除。在公开新闻图像人脸数据集上的实验结果表明该方法相对基准检测算法具有更好的背景人脸检测效果,从而可以更彻底地消除背景人脸。(2)针对现有人脸消歧算法对人脸间约束利用不足的问题,提出了基于成对约束的人脸消歧算法。该算法同时利用了相似的人脸具有相同的姓名、差异较大的人脸具有不同的姓名这两种约束。首先,研究了新闻人脸数据中广泛存在的数据不平衡现象对低秩表示算法的影响,推导出该情况下人脸间低秩表示系数表示人脸相似度的方式,并根据人脸相似度推导出人脸间的约束关系;之后,基于人脸间的成对约束建立了表达成对约束的图模型,通过最小化基于图模型的能量函数进行人脸消歧。在公开的新闻图像人脸数据集上的实验结果表明,所提方法具有较好的人脸消歧准确率。(3)针对训练人脸标注模型时通常只利用人脸相似度信息,而对其他有利于人脸标注的多模态信息利用不足的问题,提出了基于多模态信息融合的人脸标注算法。该算法首先提取了包括基于人脸相似度的人脸姓名匹配度、人脸大小、人脸位置、人脸清晰度和姓名位置等多模态信息,然后结合人脸消歧后的强标记人脸数据集训练基于多模态信息融合的人脸标注模型。在公开新闻图像人脸数据集上的实验结果表明多模态信息的利用有助于人脸标注模型效果的提升,相对于只利用人脸相似度的标注模型具有较好的标注准确率。