面向绘画在线教育的零样本图像检索技术及其应用研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:fei5051484
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能设备的普及化,社交平台的便捷化以及物联网技术的飞速发展,现阶段全球数据呈现爆炸式增长的现象。如何利用大数据、人工智能相关技术对多元化数据进行快速检索,引发了广大科研工作者的密切关注。自上世纪70年代以来,图像检索一直是计算机视觉领域的研究热门点,其中图像检索研究方向主要分为基于文本的图像检索技术(Text-based Image Retrieval,简称TBIR)以及基于内容的图像检索技术(Content-based Image Retrieval,简称CBIR)。基于内容的图像检索研究方向又分为基于图像的图像检索(Photo-based Image Retrieval,简称PBIR)和基于草图的图像检索(Sketch-based Image Retrieval,简称SBIR)。目前,基于草图的图像检索技术越来越受到广大科研工作者的青睐,其主要原因为抽象简易的草图绘制操作相对用户而言较为简单。然而,基于草图的图像检索研究目前存在如下问题:一是由于草图与自然图像属于不同数据域,因此在高维空间中两者数据分布存在一定的差异性,即数据域分布不一致性问题;二是高维特征空间中固有的枢纽点问题也会严重影响模型性能和实验精确度;三是由于人对图像相似性的判别依据和计算机对相似性的判别依据不同,则计算机获取的图像视觉信息与用户对图像理解的语义信息存在不一致性,即计算机视觉领域中固有的语义鸿沟问题;四是在大数据时代,研究人员必须对涌现的新数据进行标注以及基于新数据对现有模型进行重构与训练,故昂贵的人工标注与耗时的模型训练严重阻碍了基于草图的图像检索技术在智能生活产品中的应用。基于上述提及的相关问题,本文提出一种基于联合嵌入语义特征的多分支深度网络架构(Joint Embedding Semantic Feature for Multi-Branch Framework,简称JESF-MBF模型),属于基于草图的零样本图像检索研究范畴。JESF-MBF模型成功构建了草图-图像视觉嵌入空间和语义嵌入空间的映射关系以及已知标签和未知标签之间的内在语义相关性,故在测试阶段基于JESF-MBF模型能够对未知标签的草图数据(新数据)进行图像检索操作(注:此处未知标签指模型训练阶段没有出现的草图-图像数据类别,已知标签指模型训练阶段出现的草图-图像数据类别)。JESF-MBF模型使用域判别损失、三元组损失以及语义损失进行模型优化,其可以有效缓解上述相关问题。本方法基于Sketchy数据集进行模型训练与测试,实验结果表明JESF-MBF模型的相关实验指标上优于其他算法,显示了优秀的图像检索能力。为了积极响应国家智能教育方针,我们简易设计一款基于JESF-MBF模型的绘画在线教育平台,基于绘画在线教育平台,绘画儿童绘制简易的物体轮廓从而检索出相同标签的自然图像,该过程不仅可以加强儿童对自然世界的认知水平与感知能力,而且可以从侧面提升他们的绘画技能。
其他文献
蛋白质是执行生物体内各种重要生物活动的大分子,认识其功能对推动生命科学、农业、医疗等领域的发展意义重大。传统的生物实验测定蛋白质的功能需要消耗大量的人力、物力、
人口老龄化是我国面临的突出社会问题,与之相关的老年人精神贫困也越来越引起人们的关注,重庆市F区老人集聚区在老龄化社会的背景下值得研究。F区存在多处规模在40-250人不等
研究病毒准种单体型对了解病毒的基因序列,研制病毒疫苗以及制定有效的抗病毒治疗方法有着重要的实际意义。由于当前技术水平的限制,仅仅依靠生物学手段获取病毒准种单体型所
在现代信息技术的推动引领下,在线学习模式应时而生。然而,时空的隔阂使得师生之间的互动不够,学生的学习效率受其自制力的影响较大,学生易出现注意力失焦的问题。因此,对在
脉冲回波式超声成像可以获得生物组织或器官的解剖结构信息,光声和感应式磁声成像能够反映组织的功能成分变化。单一的成像技术不能全面、详尽地描述生物组织的结构和功能信
选择性催化还原(SCR)技术的原理是烟气在SCR催化剂的作用下,与NH3等还原剂选择性地发生氧化还原反应,烟气中的NOx被还原成N2和水。它具有脱硝率高、选择性高、运行成本低等优势
人民代表大会制度的实施要通过人大代表的履职。人大代表联系群众的方式有很多,人大代表联络工作站就是其中一个很重要的方式,它提供了人大代表和群众沟通联络的渠道和载体,
混沌现象是在确定性系统中表现出的类随机或无规则的运动。人们已经利用计算机仿真及电路实验中观察到一些典型系统中的混沌现象,由于计算机仿真精度有限,实验观察的时间有限
细胞表面的寡糖参与了细胞内一系列的生命活动进程,其中含有末端N-乙酰神经氨酸(Neu5Ac)残基的寡糖在参与作为细胞粘附、肿瘤的迁移、脑神经的发育以及病毒成功侵入机体中起重
干旱是我国频繁发生的一种气象灾害,对我国社会、经济和环境带来了严重的影响。因此准确监测干旱的发生时间、发展程度和影响范围,对保障社会经济发展,促进生态环境恢复,维持