基于双向循环生成式对抗网络的跨模态检索

来源 :武汉大学 | 被引量 : 0次 | 上传用户:china_jjf_wolf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体设备和移动网络的普及,每天都会有大量的多媒体数据被生成、传递和处理。如何在海量的多媒体数据中获取到自己想要的信息,是互联网用户最为关心的问题,跨模态检索是重要的解决方式之一。跨模态检索技术可以根据一种给定模态的查询,搜索到其他模态的语义相关数据。另外,跨模态检索的应用场景广泛,最常使用的是图像和文本间的相互检索。然而,传统方法应用在跨模态检索上的效果并不好。比如说,没有类别信息帮助的无监督情况下传统方法准确率不高,一些有监督方法仅考虑了公共子空间中的特征相关性,还有一些传统方法直接使用特征向量进行检索计算导致效率不高。针对现有工作的不足,结合对偶学习的思想和生成式对抗网络(GANs)的技术,我们首次利用循环生成式对抗网络来学习不同模态数据的公共子空间,构建了一种新颖的双循环闭合神经网络。在有监督情况下,我们使用三元组约束来增强不同类别数据间的差异性以及不同模态相同类别数据间的相似性。在无监督情况下,我们引入了流形约束来捕获每个模态中样本的有意义最邻近信息,使得相似的样本在公共空间中有较小的距离。在最后,我们将公共子空间上的跨模态特征向量重新编码成简练的哈希码,并通过异或运算得到哈希码间的汉明距离来实现高效的跨模态检索。本文提出的方案解决了现有的有监督和无监督跨模态检索方法存在的问题。在实验部分,我们在三个广泛使用的数据集上和六种最先进的方法进行定量比较,证明了本文方法的优越性。
其他文献
无人地面车辆(Unmanned Ground Vehicle)是社会高速发展的时代产物,推动相关技术已成为国际竞争的新焦点。自主导航(navigation)是UGV的基本必备能力,是有效完成任何高级任务的前提。具体而言,个体UGV系统首先需要能在环境已知约束条件相对固定的静态环境中自主导航,例如行星探索、地理遥感测绘;然后,在城区等复杂环境更需要UGV在面临未知运动障碍物时具备动态场景中自主导航的
有机磷酸酯由于应用广泛而不断扩散于环境中,因危害人类健康而有必要对其进行检测。由于有机磷酸酯性质差异大,且在环境介质中含量低、干扰多,商品化的固相微萃取涂层难以在满足检测灵敏度的条件下,同时萃取极性差别大的有机磷酸酯。为解决以上问题,本论文以氧化石墨烯(GO)为基底,分别以强极性的磷酸三甲酯(TMP),中等极性的三(2-氯乙基)磷酸酯(TCEP)和较弱极性的磷酸三苯酯(TPhP)为模板分子,丙烯酰
人与人之间的影响关系形成了以人为节点的复杂传播网络,传播着包括信息、观点乃至病原体等各式各样的传播内容。传播网络推断能够帮助我们更加直观、准确地了解这些传播网络和相关传播过程,从而更好地预测、促进或者阻止未来的传播事件。现有的绝大多数传播网络推断算法需要节点确切的感染时间信息作为输入数据。然而,在众多真实世界的传播过程中,确切的感染时间信息往往是缺失的,从而导致现有方法的可用性受到较大的限制。为此
目的:乳腺癌作为我国女性最常见的恶性肿瘤,也是导致女性患者死亡的主要原因,发病率呈逐年上升趋势,严重威胁我国女性的身心健康。已有研究证实,II型糖尿病是罹患乳腺癌的高危因素,同时合并糖尿病的乳腺癌患者较血糖正常者有着更高的组织学分级及更差的新辅助化疗的疗效。二甲双胍作为治疗II型糖尿病的一线药,不仅能有效地控制患者的血糖水平,还具有抑制乳腺癌并改善患者预后的作用,提示二甲双胍的抗癌作用可能与其调控
互联网是一把双刃剑,在给人们的生活带来便捷的同时,也危及着大家的信息安全。在保护网络信息的研究中,传统方法是对信息进行加密。然而由于加密数据格式杂乱,异于普通数据,容易引起敌手的猜疑。当下,信息隐藏作为信息安全的另一个重要研究领域,在业内广受欢迎。与加密技术不同的是,加密仅仅隐藏了信息的内容,而信息隐藏在隐藏了信息的内容的同时还隐藏了信息的存在,利用了载体的冗余空间进行隐蔽。隐蔽信道作为信息隐藏的
油纸电容式套管作为变压器的重要配件,其运行状态直接关系到变压器运行的安全性和可靠性,套管的温度分布与热点是决定其运行状态的重要因素,对套管的温度场进行研究有重要意义。由于结构的特殊性,套管电容芯子极板端部的介质不可避免会发生老化,对极板端部介质老化的机理尚缺乏研究。因此本文对于油纸电容式套管运行时的温度场和电容芯子极板端部介质老化机理行仿真研究,分析不同因素对套管温度的影响,获取极板端部介质老化的
现代社会生活中水资源短缺问题不断加剧。为了解决水资源短缺问题,许多的净水处理技术正在被研究。在这些净水处理技术中,分离膜工艺由于具有操作简单、投资低、环保和通量稳定等优点而备受关注。然而,在实际应用中常常会出现膜污染现象,使得膜技术的应用受到限制。膜污染一方面是指过滤液中含有的有机物、胶体易于吸附到膜表面和孔壁上,导致膜结垢,从而影响膜的通量和选择性,增加能耗,增加运营成本。有效抑制有机物污染的关
通信、电力、金融以及国防等领域很多基础设施都是建立在时间同步基础之上,现在有越来越多的高精尖应用对时间同步精度要求越来越高。利用卫星导航系统(GNSS)进行时间比对可以达到纳秒级的时间同步精度,但通常只能进行两个节点之间时间比对,且比对结果存在滞后性,该类技术主要被时频实验室用来进行时间传递,不适合大范围地使用。通过GNSS授时的方法来实现时间同步具有成本低、实时、用户数不受限和全球覆盖等优点,但
人们之间的交流和影响形成了以人为节点、人与人之间的影响关系为边的复杂传播网络,传播着言论、资讯甚至疾病等不同内容。影响传播推断技术能帮助我们更直观、准确地了解这些传播网络和相关传播过程,从而更好地预测、促进或者阻止未来的传播事件。现有的影响传播推断方法大多基于节点被感染的确切时间数据,但在许多真实世界的传播过程中,通过监测网络中节点的感染状态的变化来获取节点感染时间数据通常需要较高的甚至难以负担的
探究植物中农药的吸收、迁移、代谢和消除等环境行为,对充分认识该物质的生物富集性、持久性,以及对健康风险的评估具有重要的意义。因此,建立合适的分析方法用于监测农药在可食用植物中的环境行为十分重要。然而,传统的离体分析对动植物具有损伤性或致死性,无法对同一生物实现重复采样和长期监测。本文设计了一种抗基质污垢强,生物相容性好,传质速率快,对非极性卤代有机物具有特异性识别的活体固相微萃取(in vivo