论文部分内容阅读
从上个世纪九十年代初期开始,基于内容的多媒体检索就开始成为了在多媒体信息检索领域中的一个研究热点。并且基于内容的多媒体检索的研究也一直是计算机视觉领域中的一个非常受瞩目的研究方向,基于内容的多媒体检索技术主要是综合应用了统计分析、模式识别、多媒体数据库、机器学习、人机交互等多个领域的知识,主要是解决传统的基于文本的多媒体检索中所存在的在人工标注时的耗时耗力、以及人工选择上的主观差异性大等几大问题。然而,传统的多媒体信息检索技术主要是针对的多媒体类型比较单一,比如图像检索,音频检索,视频检索等,不能够支持不同模态的多媒体对象之间的相互检索。这便使人们迫切的需要一种新的检索方式能够处理和查询不同模态的多媒体数据。因此,本文的研究重点便是研究这种能够灵活跨越不同模态形式的多媒体数据的检索方法——跨媒体检索。对于图像和视频等多媒体信息集来说,在目前的绝大多数检索方法中采取的大多是基于文本搜索的技术,如Google,它们的图像和视频检索功能仍然是基于文本的关键词(keyword)的,这些关键词大部分是来源于与图片相关的文本或者文件名等,其中少量的部分是来源于人工标注。但是因为信息收集者们的文化背景和专业知识的不同与迥异,这些与图片关联的文本信息也往往是缺乏可信度的。大多数的研究者们都能够深切的体会到,对于图像和音频等的多媒体信息,它们是很难得到有效的、精确的描述。所以这种单一模式的解决方案是很难满足人们的查询需求的,并且这种方法的搜索精度很低。本文首先研究了当前的国内外现有的多媒体信息检索的相关技术。在研究不同模态数据之间的关联挖掘和检索问题时,总结了四种比较典型的跨模态检索方法:线性迭代和映射,非线性流形,概率模型及异构分析。并且本文提出了三种比较新颖的跨模态的信息检索方法。第一种检索方法是结合doc2vec和ITQ的跨模态多媒体信息检索;第二种方法是基于主题模型的跨模态多媒体信息检索。第三种方法是融合多特征的跨模态信息检索方法,在第三种方法中,我们又提出了两种不同思路的特征融合方法。这三种方法的目的都是旨在以不同的方式来桥接不同模态(图像,文本,视频,音频)的多媒体信息。本文以维基百科中的英文数据(EG-维基百科)和中文数据(CH-维基百科)为实验数据,在实验过程中通过两个相互跨模态检索任务来测试上述两种跨模态信息检索方法的正确性和有效性: (1)通过图像查询来进行文本检索; (2)通过文本查询来进行图像检索。实验结果表明,上述两种方法均能达到预期效果,并在准确率上有所提升。