论文部分内容阅读
Web图像通常关联着多种不同类型的信息,如图像本身的视觉特征(颜色、纹理、形状等)、关联的文本信息等,其语义内容或多或少地都与这些关联信息有关。图像的视觉特征空间和语义概念空间之间存在着巨大的“语义鸿沟”,使得基于视觉内容的图像语义自动标注方法的性能远远达不到人们的预期。而Web图像关联的文本信息更加接近Web图像的语义空间,因此利用Web图像的关联文本揭示其语义内容是Web图像语义自动标注的一种重要手段。然而,Web图像的语义内容在其关联文本上的分布是复杂多变的,不同的图像或语义关键词通常对应不同的语义分布。多数已有的Web图像语义自动标注方法或者把所有关联文本作为一个整体,或者仅仅根据先验知识或启发想法提前估计一个固定的语义分布模型,因此,Web图像语义自动标注的性能仍有待进一步提高。本文围绕Web图像语义内容在其关联文本上分布的复杂性和个异性特点,利用自适应学习的思想对Web图像语义自动标注开展研究,在多个方面进行了新的尝试,提出了多个具有较好性能的Web图像语义自动标注方法。本文还将Web图像语义自动标注应用到Web多媒体信息搜索中,对图文并茂的搜索方式进行了初步的尝试。本文主要研究内容如下:1.提出基于关联文本位置权重自适应学习的Web图像语义自动标注方法:通过基扩展的方法进一步考虑关联文本之间的高阶结构关系对预测Web图像语义内容的贡献,并提出利用一种新颖的分段惩罚加权回归模型对Web图像的语义内容在其关联文本上的分布进行自适应建模。实验证明所提出的Web图像语义自动标注方法大大提高了标注性能。2.提出基于自适应模型的Web图像语义自动标注方法:在基于关联文本位置权重自适应学习的Web图像语义自动标注方法的基础上,进一步考虑Web图像的视觉特征和先验知识对预测Web图像语义内容的贡献,提出利用受约束的分段惩罚加权回归模型对Web图像的语义内容在其关联文本上的分布进行自适应建模。实验证明所提出的Web图像语义自动标注方法大大提高了标注性能。3.提出基于条件随机场模型的Web图像语义自动标注方法:利用条件随机场模型将Web图像相关的各种不同类型的信息有效地集成起来,充分发挥各种信息对预测图像语义内容的贡献。特别地,提出利用Flickr标签(tag)资源来学习标注词之间的语义共现性。实验证明所提Web图像语义自动标注方法和基于Flickr标签的标注词之间的语义共现矩阵大大提高了标注的性能。4.提出一种基于标注的Web多媒体信息搜索原型系统:在传统搜索引擎和Web图像语义自动标注的基础上,提出了一个Web多媒体信息搜索原型系统:PictureBook。PictureBook系统利用Web搜索结果聚类、多文档文摘和Web图像语义自动标注等技术,将Web页面搜索和图像搜索有效地结合在一起,为用户返回图文并茂的搜索结果,从而更加便于用户获取知识。