结合ITQ的跨模态的多媒体信息检索

来源 :西南大学 | 被引量 : 0次 | 上传用户:xing123qw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从上个世纪九十年代初期开始,基于内容的多媒体检索就开始成为了在多媒体信息检索领域中的一个研究热点。并且基于内容的多媒体检索的研究也一直是计算机视觉领域中的一个非常受瞩目的研究方向,基于内容的多媒体检索技术主要是综合应用了统计分析、模式识别、多媒体数据库、机器学习、人机交互等多个领域的知识,主要是解决传统的基于文本的多媒体检索中所存在的在人工标注时的耗时耗力、以及人工选择上的主观差异性大等几大问题。然而,传统的多媒体信息检索技术主要是针对的多媒体类型比较单一,比如图像检索,音频检索,视频检索等,不能够支持不同模态的多媒体对象之间的相互检索。这便使人们迫切的需要一种新的检索方式能够处理和查询不同模态的多媒体数据。因此,本文的研究重点便是研究这种能够灵活跨越不同模态形式的多媒体数据的检索方法——跨媒体检索。对于图像和视频等多媒体信息集来说,在目前的绝大多数检索方法中采取的大多是基于文本搜索的技术,如Google,它们的图像和视频检索功能仍然是基于文本的关键词(keyword)的,这些关键词大部分是来源于与图片相关的文本或者文件名等,其中少量的部分是来源于人工标注。但是因为信息收集者们的文化背景和专业知识的不同与迥异,这些与图片关联的文本信息也往往是缺乏可信度的。大多数的研究者们都能够深切的体会到,对于图像和音频等的多媒体信息,它们是很难得到有效的、精确的描述。所以这种单一模式的解决方案是很难满足人们的查询需求的,并且这种方法的搜索精度很低。本文首先研究了当前的国内外现有的多媒体信息检索的相关技术。在研究不同模态数据之间的关联挖掘和检索问题时,总结了四种比较典型的跨模态检索方法:线性迭代和映射,非线性流形,概率模型及异构分析。并且本文提出了三种比较新颖的跨模态的信息检索方法。第一种检索方法是结合doc2vec和ITQ的跨模态多媒体信息检索;第二种方法是基于主题模型的跨模态多媒体信息检索。第三种方法是融合多特征的跨模态信息检索方法,在第三种方法中,我们又提出了两种不同思路的特征融合方法。这三种方法的目的都是旨在以不同的方式来桥接不同模态(图像,文本,视频,音频)的多媒体信息。本文以维基百科中的英文数据(EG-维基百科)和中文数据(CH-维基百科)为实验数据,在实验过程中通过两个相互跨模态检索任务来测试上述两种跨模态信息检索方法的正确性和有效性: (1)通过图像查询来进行文本检索; (2)通过文本查询来进行图像检索。实验结果表明,上述两种方法均能达到预期效果,并在准确率上有所提升。
其他文献
随着网络信息技术的快速发展,如果大数据中有许多遗留下来的历史数据,那么用户从数据仓库中提取信息时可能会过时或不准确,时效性差的数据可能会对人们的日常生活和企业决策
近年来,随着Internet和图像处理技术的快速发展,网络视频监控技术得到了广泛的应用。在网络视频监控系统中,监控的范围不再局限于某一个地点,而是任何有网络的地方。和以前的
在信息社会里,手机已成为人们日常生产生活中必不可少的通讯工具。随着技术的发展,手机的性能比过去有了巨大的提高,几乎可以与九十年代中期的PC机相媲美。可以说当今的手机已经
随着互联网的快速发展,信息超载问题变得愈发突出,用户无法快速从大量的网络信息资源中获取对自己有用的信息,导致信息的使用效率降低。推荐系统作为一种信息过滤的重要手段,
网络控制系统是通过网络实现控制机构之间相互通信的全分布式实时反馈闭环控制系统,呈现出传感器、控制器和执行器空间分离的物理特征。二十一世纪初,在全球富有盛名的19位学
随着INTERNET的飞速发展,网上的信息越来越丰富,激增的数据背后隐藏着许多重要的信息。用户使用现有的搜索引擎浏览页面时,虽然能部分解决“资源发现”的问题,但精度不高,不
利用计算机图形学理论,在三维场景中对气体进行渲染,对于虚拟现实和环境保护等方面有着重要的意义。随着计算机硬件的发展,和实时流体模拟理论的进步,建立复杂环境中的气体渲染已
工作流技术是当前计算机应用领域的一个研究热点,利用工作流技术对企业进行业务过程的建模和分析不仅可以规范化企业的业务流程,发现业务流程中不合理和低效的环节,进而对企
混沌现象是20世纪人类最重要的科学发现之一。在过去的20多年时间里,人们对混沌的研究主要是从一些实验及数值模拟来观察和量化混沌。随着对混沌现象认识的不断深入,如何应用混
近年来,随着数据库技术以及数字化技术的不断进步,针对高维时间序列的数据挖掘研究引起了越来越多学者广泛的兴趣。然而,由于数据维度的增多,大大增加了数据挖掘算法的复杂性,使得