论文部分内容阅读
图像作为一类重要的非结构化信息,通常蕴含着丰富的语义。提取图像低层视觉特征并建立其到高层语义的映射模型,已成为当前计算机视觉中极富挑战性的课题。图像语义标注是在图像处理与分析的基础上,结合人工智能和模式识别理论,让计算机自动地给未知图像加上能够反映其内容的语义文字,是实现图像语义理解与检索的重要途径。它与计算机视觉、机器学习和人工智能有着密切的联系,具有重要的理论研究意义和广阔的开发应用前景。 本文的研究从概率潜语义分析模型出发,重点围绕精细化图像语义标注与检索两大问题展开。在使用生成式模型对图像进行建模的基础上,充分融入标注概念的语境信息、语义信息以及未知图像的视觉特征信息,并借助随机游走模型、随机场(马尔科夫随机场和条件随机场)模型以及图的最大二等分模型进行精细化处理,以期实现机器标注与人类理解的一致性。取得的主要成果有: 1.提出基于概率潜语义分析和随机游走模型的两阶段精细化图像语义标注方法PLSA-RW。该方法首先从已标注图像的文本信息出发构建一个非对等模态的概率潜语义分析模型,以此计算未知图像的初始标注;然后基于初始标注的语义信息(视觉相似性和文本相似性)构造标签相似性图并执行随机游走过程,进一步挖掘初始标注之间的潜在语义关联,实现未知图像的精细化语义标注。实验结果表明PLSA-RW比若干经典的图像语义标注方法具有更好的标注效果和检索性能。 2.提出建模上下文相关模型的精细化图像语义标注方法MRFp。该方法首先对每个语义概念分别构造自身的马尔科夫随机场图结构,以实现标注概念之间的有效区分;然后基于概率潜语义分析模型计算图像和语义概念共同出现的联合概率,将其作为马尔科夫随机场中对应点的观察值,在此基础上分别定义点势函数和边势函数;最后,通过正则化最大伪似然估计学习每个马尔科夫随机场的模型参数,并利用迭代条件模式进行模型推理,进而实现未知图像的精细化语义标注。实验结果表明MRFp的性能明显优于几种主流的图像语义标注方法。 3.提出融合标注概念语境信息的精细化图像语义标注方法CRFpf。该方法首先构建一个非对等模态的概率潜语义分析模型,以此计算带有可信度的初始标注词集;然后利用条件随机场建模标注词之间的语义关系。其中,基于初始标注词的可信度以及它们之间的Flickr语义距离,分别定义条件随机场模型的一元势函数和二元势函数;最后,通过梯度下降法最大化对数后验概率学习条件随机场模型的最优参数,并通过边缘化概率推理每个指示变量最有可能的状态,从而实现未知图像的精细化语义标注。实验证明CRFpf的标注精度远高于其他经典的图像语义标注方法,而且能取得更好的检索性能。 4.提出结合概率潜语义分析和最大二等分模型的两阶段精细化图像语义标注方法PLSA-MB。该方法首先应用概率潜语义分析模型计算未知图像的初始标注;然后利用图对初始标注词以及它们之间的语义关系进行建模,从而将精细化图像语义标注问题转化为图的划分问题;最后采用经典的秩二松弛启发式算法对所构造的标签相似性图进行二等分处理,进而实现未知图像的精细化语义标注。在构造标签相似性图时充分集成了标注概念的文本相似性和与之关联的图像的视觉相似性,因此能够有效避免多义词引入的噪声数据,取得较高的标注精度和检索效果。实验证明PLSA-MB的标注和检索性能明显优于CMRM、CRM和PLSA-FUSION等几种经典的图像语义标注方法。 5.在本文提出的图像语义标注方法和实验室现有的图像语义标注与检索系统SIARS基础上,开发了基于概率主题模型的图像语义标注与检索系统。该系统实现了本文提出的精细化图像语义标注方法,不仅能够完成图像语义的高效标注,同时也支持基于标签的查询和基于图像范例的查询,从而为有效检验图像语义标注和检索的性能提供了可靠的依据。