基于深度学习的图文跨模态检索

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:ahqmchy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、大数据、人工智能等新一代信息技术的快速发展,大数据分析、跨媒体计算、群体智能、协同与优化、机器学习、类脑智能等核心理论的研究不断深入。跨模态检索作为跨媒体计算领域的重要内容和应用,也受到了越来越广泛地关注。现有的大多数跨模态检索方法都在一定程度上存在着模态特征表示能力不够强以及特征关联模型有待进一步改进的问题。本文针对这些问题,提出了基于对抗网络的图文模态特征关联方法(FCMAN)。该方法首先对图像模态的特征表示能力进行增强,通过融合图像模态的不同特征以增强图像模态的特征表示能力。其次,在利用一个对抗网络进行特征关联建模的基础上引入了两个新的对抗网络,引入的两个对抗网络的作用分别是对图文两种模态的真实标签和投影特征的预测标签进行建模,从而通过多个对抗网络组合的图文模态特征关联模型,进一步学习图文模态的特征相关性。同时,为了检验FCMAN的性能并直观地展示检索效果,设计并实现了一个图文跨模态检索系统。利用该系统,用户可以输入图文任一模态的数据进行检索。在初次检索的基础上,通过融合相关反馈技术,使得检索的准确率得到进一步提高。实验分析和应用结果表明,本文提出的FCMAN能够更有效地学习图文模态的特征相关性,从而提高图文跨模态检索的准确率。在此基础上,结合相关反馈技术的图文跨模态检索系统进一步展示了FCMAN的有效性。本文的研究为跨模态检索技术的应用模式提供了新的思路和借鉴,具有比较强的理论价值和应用前景。
其他文献
腰椎间盘突出症的发病率和复发率高,已逐渐成为严重的全球性社会和经济问题.运动疗法简便易学,副作用少,便于推广,已成为治疗腰椎间盘突出症的重要方法之一.本文综述运动疗法
本篇实践报告以《ABC邮轮管理手册》为翻译文本,文本类型属于海事正式文件。海事文件中的海事英语属于科技英语的分支,为描述管理规定、船舶操作、安全指南等,通常会使用大量
全文检索作为现代信息检索技术的一个重要分支,不仅是处理非结构化数据的重要工具,也是搜索引擎的主流技术之一。本文首先从全文搜索引擎模型入手,对其基本工作原理和流程进
随着无人机设备的发展和普及,无人机航拍助力于自然界环境的监测和保护。其中,无人机巡逻监测通常用于解决人力监测中巡逻周期长,外界危险地区难以到达等问题。地质遗迹变化
以海藻酸钠为原料,氯化钙水溶液为凝固浴,研究氯化钙质量分数、温度、时间和pH值对海藻酸膜性能的影响。测定了海藻酸膜对蒸馏水、生理盐水和人造血浆(A液)的吸湿性能和力学性能
采用液相沉淀法合成了稀土席夫碱8-羟基喹啉配合物,通过核磁共振、红外光谱分析了其结构。通过抗菌实验对所制备的稀土新型三元配合物的抑菌效果进行了研究,结果表明,配合物
大型栈桥结构物被应用于工业厂房、大型多层停车场、港口、码头、市政工程等,由于使用条件的恶劣,结构经常长期处于腐蚀介质的环境中,经受风吹、日晒、雨淋、浪溅、干湿交替
以苯酚为原料,经多步合成反应制得重要中间体5,然后在相转移催化条件下,将其与4-甲基苯基氯乙酸酯(6)或氯乙酸乙酯反应,合成出了2个新的含苯并咪唑环的1,3,4-噁二唑衍生物(7a,7b),并利用I
本文提出多椭圆拟合的一种新算法:首先运用边界跟踪法探测边缘图中多个椭圆目标的轮廓线,根据曲线曲率检测出轮廓线上的角点,然后使用一对角点所在弧段的数据作椭圆拟合,接着清除已拟合椭圆的数据点,重复上述步骤逐个求出椭圆。实验表明,这一方法能快速、准确地拟合出图像中的所有椭圆。
典故,指诗文等作品中引用的古代故事和有来历出处的现成话。历经岁月沉淀,典故蕴含着丰富的优秀传统文化,适合用来涵养青少年的成长。语文教材中的古诗文用典多达130余处,了解这些典故的来龙去脉,有利于学生对古诗文的进一步理解,也有利于培养学生对古诗文的兴趣。因此,随着学习的深入,在教学中学生也被要求了解掌握更多的典故。然而,古诗文教学一直是个难题,其中的典故怎么教、如何学,更是个难以解决的问题,长久以来