基于概率主题模型的图像语义标注研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:w__hailin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像作为一类重要的非结构化信息,通常蕴含着丰富的语义。提取图像低层视觉特征并建立其到高层语义的映射模型,已成为当前计算机视觉中极富挑战性的课题。图像语义标注是在图像处理与分析的基础上,结合人工智能和模式识别理论,让计算机自动地给未知图像加上能够反映其内容的语义文字,是实现图像语义理解与检索的重要途径。它与计算机视觉、机器学习和人工智能有着密切的联系,具有重要的理论研究意义和广阔的开发应用前景。  本文的研究从概率潜语义分析模型出发,重点围绕精细化图像语义标注与检索两大问题展开。在使用生成式模型对图像进行建模的基础上,充分融入标注概念的语境信息、语义信息以及未知图像的视觉特征信息,并借助随机游走模型、随机场(马尔科夫随机场和条件随机场)模型以及图的最大二等分模型进行精细化处理,以期实现机器标注与人类理解的一致性。取得的主要成果有:  1.提出基于概率潜语义分析和随机游走模型的两阶段精细化图像语义标注方法PLSA-RW。该方法首先从已标注图像的文本信息出发构建一个非对等模态的概率潜语义分析模型,以此计算未知图像的初始标注;然后基于初始标注的语义信息(视觉相似性和文本相似性)构造标签相似性图并执行随机游走过程,进一步挖掘初始标注之间的潜在语义关联,实现未知图像的精细化语义标注。实验结果表明PLSA-RW比若干经典的图像语义标注方法具有更好的标注效果和检索性能。  2.提出建模上下文相关模型的精细化图像语义标注方法MRFp。该方法首先对每个语义概念分别构造自身的马尔科夫随机场图结构,以实现标注概念之间的有效区分;然后基于概率潜语义分析模型计算图像和语义概念共同出现的联合概率,将其作为马尔科夫随机场中对应点的观察值,在此基础上分别定义点势函数和边势函数;最后,通过正则化最大伪似然估计学习每个马尔科夫随机场的模型参数,并利用迭代条件模式进行模型推理,进而实现未知图像的精细化语义标注。实验结果表明MRFp的性能明显优于几种主流的图像语义标注方法。  3.提出融合标注概念语境信息的精细化图像语义标注方法CRFpf。该方法首先构建一个非对等模态的概率潜语义分析模型,以此计算带有可信度的初始标注词集;然后利用条件随机场建模标注词之间的语义关系。其中,基于初始标注词的可信度以及它们之间的Flickr语义距离,分别定义条件随机场模型的一元势函数和二元势函数;最后,通过梯度下降法最大化对数后验概率学习条件随机场模型的最优参数,并通过边缘化概率推理每个指示变量最有可能的状态,从而实现未知图像的精细化语义标注。实验证明CRFpf的标注精度远高于其他经典的图像语义标注方法,而且能取得更好的检索性能。  4.提出结合概率潜语义分析和最大二等分模型的两阶段精细化图像语义标注方法PLSA-MB。该方法首先应用概率潜语义分析模型计算未知图像的初始标注;然后利用图对初始标注词以及它们之间的语义关系进行建模,从而将精细化图像语义标注问题转化为图的划分问题;最后采用经典的秩二松弛启发式算法对所构造的标签相似性图进行二等分处理,进而实现未知图像的精细化语义标注。在构造标签相似性图时充分集成了标注概念的文本相似性和与之关联的图像的视觉相似性,因此能够有效避免多义词引入的噪声数据,取得较高的标注精度和检索效果。实验证明PLSA-MB的标注和检索性能明显优于CMRM、CRM和PLSA-FUSION等几种经典的图像语义标注方法。  5.在本文提出的图像语义标注方法和实验室现有的图像语义标注与检索系统SIARS基础上,开发了基于概率主题模型的图像语义标注与检索系统。该系统实现了本文提出的精细化图像语义标注方法,不仅能够完成图像语义的高效标注,同时也支持基于标签的查询和基于图像范例的查询,从而为有效检验图像语义标注和检索的性能提供了可靠的依据。
其他文献
学位
随着互联网的快速普及与Web网站的蓬勃发展,如何在海量数据中快速、准确地找到有效的信息,成为了一个重要课题。搜索引擎是信息发现的有效手段,努力提升搜索质量,让用户更准确的
软件复用的成功需要三个方面的因素——存在可用的软件构件、复用者能够找到软件构件、复用者能够知道如何使用软件构件。随着大量可复用构件资源的出现,如何帮助复用者认识和
学位
近年来,网络通信技术和互联网业务的进步改变了视频访问、产生和传播方式。在线网络视频点播系统(Online Video-on-Demand,简称VOD)飞速发展,用户数量和平均用户观看时间不断增长
学位
随着集成电路的制造技术进入纳米阶段,集成电路的设计正由于工艺波动的影响而遇到更艰巨的挑战。工艺特征尺寸的减小,处理器主频的不断提高,以及设计规模的不断扩大,导致芯片上工
学位
学位
随着遥感技术的快速发展,其在军事、航天和气象等领域获得了越来越广泛的应用。如何对海量数字遥感图像进行有效处理,获得有用信息,已经成为当前数字遥感图像处理技术研究难点和