论文部分内容阅读
图像自动标注隶属于计算机视觉、模式识别、信息检索以及机器学习等领域,在学术界和工业界均得到高度的关注,但是由于图像自动标注存在数据集的不平衡性,底层视觉特征与用户高层语义之间的鸿沟等问题,使得图像自动标注仍然面临着许多困难,针对上述情况,本文开展了如下四个方面的研究工作:
1、针对数据库词频分布不平衡问题,提出了一种基于平衡数据库的图像自动标注改善的方法。这个方法主要是通过自动平衡模式找出弱频点,并依据基于外部数据库自动平衡模式对弱频点以下的弱频词,从外部数据库中追加相应数量的图片。通过找到数据库的最佳平衡状态,以及词频的最佳分布使得数据库达到最佳平衡状态,并使得最终标注结果的精确率、召回率、F度量和至少正确标注一次的关键词数等指标得到一定提高。
2、提出了基于关键词同现的图像自动标注方法。现有图像自动标注模型为了计算方便,假设标注词之间都是相互独立的,忽略了关键词间相关性对最终标注结果带来的影响,针对以上问题,我们提出了基于关键词同现的图像自动标注方法。该方法根据关键词同现(Co-occurrence)的频数计算关键词间的相关性,并根据词频间的相关性建立关联度衡量模式。为了充分考虑关键词间的关联性,采用k-1层关联算法计算关键词之间的关联度,并将该关联度与已经得到的标注模型的标注结果相结合,使得最终的图像标注结果得到提高。
3、提出了基于Wordnet的图像自动标注模型。该模型先通过CMRM方法对图像进行标注,根据得到的关键词标注概率,选取标注词概率较大的前n个关键词作为候选标注词。通过结合JNC方法与BNP方法,建立了关键词间相关度的度量模式,通过此模式来度量n个候选关键词间的相关度,筛选出相关度最大的前五个关键词作为最终的标注词,该标注方法可以在一定程度上更好的解决语义鸿沟问题,并最终提升图像标注结果。
4、提出了基于语义相似的图像自动标注模型。该模型将前面提出的关键词同现方法与Wordnet相结合来计算关键词间的相关度,并实现最终的图像自动标注改善模型。通过最后的实验,表明建立平衡数据集以及考虑关键词问的各种关系(如词频同现、词频注释集、上位词与下位词等),均对标注结果有一定的改善。我们的模型在一定程度上解决了语义鸿沟问题,并最终提升图像标注结果。
本文提出的模型均以通过实验验证,图像自动标注的精确率,召回率,F度量以及至少被正确标注一次以上的关键词数量均得到了一定程度的提高,尤其是召回率及至少被正确标注一次以上的关键词数量得到了较大的提高。