论文部分内容阅读
自动图像标注(AIA)是图像检索领域中一个十分重要的研究工作。自从AIA技术诞生以来,人们对其的研究就从未终止。对于如何获取有效的描述图像语义信息的图像特征,以及如何构建有效的标注模型,还有如何对已经标注出的图像候选标注词进行优化。这些对于解决图像标注中的“语义鸿沟”问题是十分重要的。有效的标注模型或方法的构建,对于改进AIA的性能与效率会起到很重要的作用。(1)研究了依据典型相关分析(CCA)组合颜色与纹理特征的方法。该策略首要考虑的问题是图像特征的提取。通过对比现有特征信息的优劣不同,选取颜色与LBP纹理算子,作为要进行融合的特征参数。凭借CCA在这方面的优势,获得了优良的表达视觉语义的信息。该方法解决了图像特征经常不能有效的描述图像的语义信息的问题。对于提高图像的检索与标注效率,起到了很重要的促进作用。同时该特征也是用来为后续内容的图像标注做基础的。本文进行自动图像标注所使用的图像特征就是通过该方法得来的。通过实验验证,也证明了此种特征的有效性。(2)为了提高自动图像标注精度,利用CCA技术,结合高斯混合模型(GMM)模型,研究了一种基于CCA和GMM的自动图像标注算法。该算法借助于CCA对选取图像的两种全局图像参数进行处理,减除了因单种特征描述图像的不足。还避免了由不完美的分割算法带来的表达语义不清错误。使用此新的特征来标注图像。利用GMM来估计图像特征与标注词的联合概率密度,得到其概率分布,构筑标注模型。在Coral5k图像集上进行验证,表明了此方法对于图像标注,性能上有了提高。(3)利用图像特征和标注词特征之间的关系,将这两种特征进行CCA融合,形成了一个结合CCA的标注与优化策略。该方法使用图像的局部特征,同时考虑到了图像的低层特征与标注词特征之间的相关性。利用典型相关分析(CCA)来探究这种关系,得到了CCA子空间特征,这是两种特征之间最有用的信息。为了使得图像的特征所在空间一致,将待标注图像局部参数信息通过CCA典型变量投影到与训练集CCA特征一致的空间。使用该特征,结合GMM模型,和贝叶斯分类器来构筑标注模型。同时对于计算出的候选词组,根据关键词之间的相似关系,执行标注优化。该方法在低层图像特征与高层的图像语义之间构建了一个非常有用的“桥梁”。为了测试该方法的有效性,在JMLR2003图像集上,进行了验证,实验表明,以查准率、查全率为评价标准,该方法使得图像的标注性能有了很大的提高。(4)将图谱的理论引入AIA中,借助图论的知识来改进标注的性能,研究了基于K-调和均值谱聚类算法(KHMSC)的自动图像标注算法。在K-均值的基础上,加入了调和概念,结合谱聚类的知识形成KHMSC算法。最主要的是,该算法通过二次聚类,得到用来表示图像语义的区域语义块。首先,在关键词向量空间利用KHMSC聚类,形成n个语义类概念。而后,在每一个类所在的图像特征空间内执行第二次聚类,相似的特征就会被聚集到一起,这样就形成了k个语义块。使用Davies-Bouldin指数来确定最优的语义块数目。该方法使用的特征也是通过CCA来进行提取的。这些语义块与关键词间的概率就是该方法所需要求取的统计变量信息。使用多重伯努利模型来估计此分布信息。最后利用朴素贝叶斯模型来得到标注词与测试图像的联合概率分布,构筑此标注模型。将概率分布最大的前R个标注词作为最后的图像标注词组。同样,我们在JMLR2003图像集上,验证了此图像标注算法的性能,证明该方法对构建图像低层特征与高层语义之间的一致性信息是有用的。典型相关分析对于研究图像的不同视觉特征之间的关系是非常重要的。利用这个性质来抽取表达图像视觉信息的准确特征。在此基础上,借助不同的图像标注算法来进行图像标注。本文从图像的特征提取、构筑有效的标注模型、对得到的标注词进行优化三个方面来改进图像标注的性能。取得了很好的效果。