论文部分内容阅读
随着网络新闻数据量呈爆炸式飞速增长,如何快速有效地从海量数据中检索出需要的新闻信息成为亟需解决的问题。很多网络新闻都与人物(特别是重要人物,例如各国政要)及其活动有关,因此把网络新闻中的图文信息进行关联分析,特别是把网络新闻中的人脸图像(集)与新闻中的人名关联起来进行新闻事件的自动分析和挖掘,成为近年国际上一个前沿性的研究热点。网络新闻中的人脸图像与新闻字幕中的人名间的对应关系往往为多对多关系,使得从这种多对多的对应关系中实现重要新闻人物的自动标识非常困难。本论文研究了基于图像和文本多模信息融合的新闻图像人物自动标识算法,主要研究工作包括:1.针对给定重要新闻人物人名找到相应人脸问题,研究了基于多模序融合的人脸命名算法。在给定人名找新闻图片中对应的人脸问题中,传统文本标识方法存在标签歧义问题,图像标识方法中存在表情、光照、姿势、遮挡等多种因素引起的视觉差异性问题,鉴于人物出现次序对人物正确标识的巨大贡献和作用,提出了一种将新闻图像字幕中人名位置(次序)的文本信息、视觉信息和人脸图像相似度信息进行多模序融合的重要人脸命名算法。在雅虎新闻数据集的实验结果表明,与传统的Berg算法相比,新方法召回率提高了8.9%,查准率提高了43.5%。2.针对给定人脸找到相应人名问题,研究了一种基于改进Max-ED和Imax-ED的人脸标注新算法。给定人脸找到相应人名问题需要手工标注新闻图像中正负包,耗时耗力,本文通过将ED和Iter-ED视频人脸标注算法引入新闻图像人物标注领域,并改进了正/负包分配方法,在降低虚假正包对标注影响的基础上,提出了改进的Max-ED和Imax-ED人脸标注新算法。利用FAN-Large数据集的实验结果表明,新闻图像人脸的正确识别率提高了42.4%。3.针对人名-人脸间一对一关联关系的建立问题,研究了一种基于网络全局信息的人名语义网络人物建立及人物标识算法。考虑到字幕中同时出现的不同人物,在人脸在新闻图片中同时出现的概率较高,为了提高人物自动标识算法的性能,提出了一种基于网络全局信息的人名语义网络建立方法并提出基于该网络的人物标识算法。在雅虎新闻数据集的实验结果表明,与Ozkan[23]算法相比,解决了多种因素降低人脸图像类间距离的问题,查准率提高了22.1%,召回率提高了24%。