互联网文本信息协助下的图像分类

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:UltraSparc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着万维网(World Wide Web)上越来越多的多媒体数据的出现,从它们中挖掘信息在互联网应用技术中显得越来越重要。注意到互联网上目前已经存在着大量带标注的文本信息,考虑到文本知识的表示与挖掘相比多媒体数据更为容易,人们希望通过考察媒体数据与文本数据之间的相互影响与相互依存关系,借用后者来帮助机器更好地理解前者。这使得最大化利用文本信息来帮助进行多媒体信息抽取成为多媒体数据挖掘领域的一个新颖而关键的课题。本论文以图像分类(image classification)任务为对象,希望通过它开启媒体-文本数据交叉挖掘的门路。我们使用一种被称为“文本协助下的图像分类器”(text-aided image classifier,TAIC)的技术,尝试解决带标注的训练图片样例数量极少情况下的图像分类问题。这个问题本身也有着重要的现实背景,因为当今的互联网上带标注的图片数量远少于带标注的文档数量。我们解决这一问题的方案基于图像与文本的可重词集(bag-of-words)表示以及Naive Bayes(NB)分类模型(Naive Bayes classification model, NBM),方案的重点是借助互联网上丰富的带标注文本信息以及图像-文本共同出现(image-text co-occurrence,以下简作共生)数据预测给定目标概念下图像特征的分布规律(image feature distribution)。具体方法上,我们扩展了传统的朴素贝叶斯算法,首先通过传统方法以及互联网上充足的带标注文本信息找到给定目标概念下文本特征空间上最具代表性(most discriminative)的特征,再通过一个我们称之为特征映射(feature mapping)的过程将上述文本特征映射到图像特征空间上,后者的数据基础就是互联网上丰富的图像-文本共生信息。这些共生数据在特征映射过程的帮助下搭建起了一座沟通文本知识与图像知识的桥梁。整个算法的实质是用一个基于充足的文本训练数据得到的文本特征分布来估计图像空间上的目标特征分布。通过在真实世界的图片数据集上进行的实验,我们验证了我们通过特征映射得到的图像特征分布非常接近在充分多的训练图像数据之下训练得到的图像特征分布。在训练图片非常小的情况下,我们的模型通过辅助的文本信息的帮助大大提升了分类性能。最后,我们的混合模型(既接受图片训练数据也接受文本、共生训练数据)在带标注训练图片数量不同的不同实验中均取得了优于传统图像分类模型的效果,这证明我们的方法确实整合了图像知识与文本知识,提升了图像分类性能,同时方法本身又非常直观与高效。
其他文献
近几年,室内定位技术在众多的领域都扮演着越来越重要的角色。与此同时,随着微电机系统的大力发展,智能手机嵌入了各种惯性传感器,如加速度计、陀螺仪和磁力计等。因此,基于
随着多媒体技术和网络技术的迅速发展与广泛应用,对多媒体数字产品的版权保护已成为迫切需要解决的问题。数字水印认证技则是一种有效的解决方法。本文主要针对数字图像水印
随着信息技术的发展,越来越多的图像和视频出现在几们的生活中和互联网上。而且,现有的虚拟现实技术和自由视点视频技术等,使几们越来越倾向于观看数字化的三维场景。于是,将已有
随着虚拟仿真技术的广泛应用,静态的建筑场景仿真已经不能满足人们的需求。为了提高与现实的契合程度,虚拟仿真平台中需要运动人群的参与。因此,人群仿真技术得到了广泛研究
视频跟踪技术具有广阔的应用前景,可应用于军用和民用监控等多个领域。本文以粒子滤波理论为基础,研究和实现了基于颜色特征的粒子滤波跟踪算法。并在该基本粒子滤波算法的基
无线局域网(WLAN)的迅速发展使得网络设备可以方便快速地通过无线方式接入到网络当中。OFDM作为WLAN的核心技术被应用,提高了WLAN的性能。无线信号的传输受到周围环境影响,这些
口腔颌面外科手术,尤其是正颌外科手术,主要针对面部骨性形态异常的患者。颌面部属于人体的显露部位,正颌外科手术的手术结果将直接影响患者的面部美学效果,对患者的日常生活至关
近年来,心脏病的防治已成为当前医疗保健的一项重要内容。心脏病具有难以预测,致残致死率高的特点。很多情况下,需要医院能够长期地对病人的心脏状况进行实时监测。普适计算
基于位置的服务(Location-Based Services, LBS)正在广泛应用于工作和生活的多个方面。作为实现LBS的关键前提,室内定位技术成为了学术界和工业界近十年来共同的研究热点。由
虚拟企业的概念是为了适应市场经济的快速发展和企业竞争环境的快速变化而提出的,它是由不同的企业借助信息网络的支持,为了快速响应市场机遇,对企业的核心技术、核心能力及