论文部分内容阅读
随着智能设备的普及化,社交平台的便捷化以及物联网技术的飞速发展,现阶段全球数据呈现爆炸式增长的现象。如何利用大数据、人工智能相关技术对多元化数据进行快速检索,引发了广大科研工作者的密切关注。自上世纪70年代以来,图像检索一直是计算机视觉领域的研究热门点,其中图像检索研究方向主要分为基于文本的图像检索技术(Text-based Image Retrieval,简称TBIR)以及基于内容的图像检索技术(Content-based Image Retrieval,简称CBIR)。基于内容的图像检索研究方向又分为基于图像的图像检索(Photo-based Image Retrieval,简称PBIR)和基于草图的图像检索(Sketch-based Image Retrieval,简称SBIR)。目前,基于草图的图像检索技术越来越受到广大科研工作者的青睐,其主要原因为抽象简易的草图绘制操作相对用户而言较为简单。然而,基于草图的图像检索研究目前存在如下问题:一是由于草图与自然图像属于不同数据域,因此在高维空间中两者数据分布存在一定的差异性,即数据域分布不一致性问题;二是高维特征空间中固有的枢纽点问题也会严重影响模型性能和实验精确度;三是由于人对图像相似性的判别依据和计算机对相似性的判别依据不同,则计算机获取的图像视觉信息与用户对图像理解的语义信息存在不一致性,即计算机视觉领域中固有的语义鸿沟问题;四是在大数据时代,研究人员必须对涌现的新数据进行标注以及基于新数据对现有模型进行重构与训练,故昂贵的人工标注与耗时的模型训练严重阻碍了基于草图的图像检索技术在智能生活产品中的应用。基于上述提及的相关问题,本文提出一种基于联合嵌入语义特征的多分支深度网络架构(Joint Embedding Semantic Feature for Multi-Branch Framework,简称JESF-MBF模型),属于基于草图的零样本图像检索研究范畴。JESF-MBF模型成功构建了草图-图像视觉嵌入空间和语义嵌入空间的映射关系以及已知标签和未知标签之间的内在语义相关性,故在测试阶段基于JESF-MBF模型能够对未知标签的草图数据(新数据)进行图像检索操作(注:此处未知标签指模型训练阶段没有出现的草图-图像数据类别,已知标签指模型训练阶段出现的草图-图像数据类别)。JESF-MBF模型使用域判别损失、三元组损失以及语义损失进行模型优化,其可以有效缓解上述相关问题。本方法基于Sketchy数据集进行模型训练与测试,实验结果表明JESF-MBF模型的相关实验指标上优于其他算法,显示了优秀的图像检索能力。为了积极响应国家智能教育方针,我们简易设计一款基于JESF-MBF模型的绘画在线教育平台,基于绘画在线教育平台,绘画儿童绘制简易的物体轮廓从而检索出相同标签的自然图像,该过程不仅可以加强儿童对自然世界的认知水平与感知能力,而且可以从侧面提升他们的绘画技能。