论文部分内容阅读
近年来,随着计算机存储和压缩技术的迅猛发展、大容量存储设备和数码产品的广泛使用以及多媒体应用与社交网络的风靡流行,互联网上的多媒体数据呈现出指数级的爆炸式增长。海量的数据给传统的多媒体研究,尤其是基于图像的应用和研究带来了新的机遇和挑战。如何对这些大规模数据进行有效地组织和管理,并且利用相关数据驱动图像的各种个性化应用成为计算机视觉和多媒体领域的一个研究热点。为了发掘这些大数据对于图像相关应用的潜在价值,本文从大规模的图像检索入手,探讨了如何通过局部特征快速有效地建立相关图像之间的匹配,并重点研究了如何通过更加快速的局部特征量化和更有效的图像视觉表达两方面来改善当前基于单词包模型的图像检索性能。然后探讨了如何有机地将图像检索与数据挖掘和图像重构等相关技术结合起来,利用大数据中蕴含的先验知识和丰富的图像、文本信息驱动图像的自动标注和重构分享应用,实现大规模图像的开放性实时标注和高分辨率手机照片的即时分享。本文的主要内容和创新之处归纳为以下几个方面:(1)提出了一种基于加权搜索树和共现信息的特征量化方法,首先对不同特征的视觉判别能力进行区分,并构建加权的搜索树对局部特征进行有区别的量化,侧重于提高有效特征的量化精度;然后利用大规模训练集统计不同视觉特征之间的共现频率,并通过这些频率信息实现相关特征量化的预测加速和修正优化。基于相同视觉码本的特征量化对比实验以及相应的检索结果表明该量化方法具有更快的收敛特性,能够有效地提高图像检索的效率。(2)提出了一种基于特征组合的图像表示方法,首先利用局部特征之间的空间位置信息将彼此包含的局部特征组合在一起用以增强局部特征的表达和区分能力;然后在图像匹配时设计相应的倒排索引机制实现特征的组合匹配同时引入特征组合之间的空间约束关系在保证匹配效率的同时进一步提高图像匹配的准确率。在大规模数据集上进行的图像检索实验证明了该图像表示方法的有效性,在传统单词包模型的基础上大幅提升了图像检索的性能;与现有基于视觉短语的检索方法相比,该特征组合具有更好的尺度、旋转和平移不变性,因而更加适用于大规模图像检索。(3)提出了一种基于概率混合模型的标签挖掘方法用于基于检索的图像标注系统,该方法将数据驱动的图像标注框架中的标签挖掘归纳为一个关键词排序问题,首先借助回归模型利用文本的统计特征提取候选词,然后将基于人工知识库学习的主题空间作为桥梁来建立图像和文本之间的联系,最后通过建立概率混合模型对候选词进行相关度排序从而得到最终的标注结果。该方法不但支持开放的标注字典,而且能够有效地生成语义明确的短语。在2Billion的图像数据库上进行的标注实验证明了我们提出方法的实时性和有效性,与已有的方法相比较,该方法大大提高了图像标注的性能。(4)提出了一种高分辨率手机图像的即时分享方案,该方案将图像分享与基于检索的图像重构相结合,利用云平台和大数据驱动手机图像的即时分享应用。首先利用缩略图像和局部特征对高分辨率图像进行联合表示、联合压缩从而在保证重构质量的基础上进一步减少移动传输的负载;然后通过局部特征建立部分复制图像之间的联系,进而通过区域匹配、区域校准、不相关区域剪切以及区域拼接实现高分辨率手机图像的即时重构分享。1Million高分辨率图像数据库上进行的相关实验证明了该重构分享策略的可行性,与现有的分享方法相比,该方案能带给用户更好的视觉体验。