【摘 要】
:
随着过去数年社交网络的强势崛起,当今在互联网上产生的多媒体数据量之多已经超乎我们的想象。面对海量的多媒体数据,人们需要强大的跨模态检索算法来满足日益增长的相似性数据检索需求。当前,跨模态检索技术面临的最大的挑战来自于如何更好地克服不同模态数据之间的异质性差异,这种差异会导致语义鸿沟问题,影响检索性能。为了解决这一问题,研究人员提出了许多的跨模态检索算法,其中跨模态哈希的方法因为其检索效率高且存储成
论文部分内容阅读
随着过去数年社交网络的强势崛起,当今在互联网上产生的多媒体数据量之多已经超乎我们的想象。面对海量的多媒体数据,人们需要强大的跨模态检索算法来满足日益增长的相似性数据检索需求。当前,跨模态检索技术面临的最大的挑战来自于如何更好地克服不同模态数据之间的异质性差异,这种差异会导致语义鸿沟问题,影响检索性能。为了解决这一问题,研究人员提出了许多的跨模态检索算法,其中跨模态哈希的方法因为其检索效率高且存储成本低的优势,受到了广泛的关注:跨模态哈希的方法利用哈希函数将不同模态数据映射为紧凑的二进制哈希码;利用异或操作计算不同哈希码之间的相似程度,进而衡量数据之间的相似性。为了减小模态之间的差异、跨越语义鸿沟,许多跨模态哈希检索算法利用跨模态数据之间的语义相似性指导更具有判别力的数据特征的学习,从而获得更高的检索精度。然而我们认为,在跨模态数据内不止具有语义相似性,还包含着同样重要的数据空间结构相似性,充分挖掘这两类相似性信息会极大提升跨模态哈希检索的准确性。基于以上分析,在本文中提出了两种不同的基于图卷积神经网络的跨模态检索算法,利用图卷积神经网络学习数据的空间结构相似性,并且与数据的语义相似性相结合,实现更好的检索效果,具体内容如下:(1)提出了一种基于自注意力图卷积神经网络的跨模态检索方法。我们设计了一个端到端的深度网络结构,将特征提取与哈希码学习过程结合在一起;利用基于自注意力机制的特征融合方式,将不同模态的特征融合为一个整体;此外,为了更好地捕捉数据的结构相似性,我们采用图卷积神经网络将数据空间信息嵌入到融合的特征当中,利用这一融合特征指导特征提取网络的学习过程,有效地提升了检索的精度。(2)提出了一种基于多图融合的图卷积神经网络的跨模态检索方法。我们利用标签中包含的丰富信息,建立起语义-空间相似性监督图结构;同时利用图卷积神经网络,对不同模态的数据分别建立数据图结构,在特征提取与哈希码学习的阶段,利用多图融合的方式将监督信息引入其中,有效地建立了跨模态数据的语义与结构相关性,学习了更具有判别力的特征,提升了跨模态检索的精度。
其他文献
Web 2.0技术的广泛应用为互联网用户之间的协同合作、交互以及信息分享提供了坚实的支持。互联网用户享受着信息资源带来便利的同时,也在遭受着信息爆炸式增长带来的困扰,这导致用户经常面临高昂的搜索成本和时间成本。推荐技术作为解决该类问题的重要手段,受到了越来越多的关注。当前,用户之间的交互变得比以往更加频繁也更加密切,已经超出了时间和地域的限制,互联网上的用户以及他们之间的关系共同构成了巨大的社会网
植入式电子设备的发展和应用给医学诊断和治疗提供了更多可能,它能对患者的健康状况进行远程监测,甚至还能代替功能受损的器官继续工作,逐渐成为一种重要的医疗手段。植入性电子设备被植入人体后,不仅要保证机体健康,还要在机体内正常工作,这就需要借助医学影像技术保证其处于合适位置并稳定工作。目前,医学影像技术日益成熟,不同的技术有各自的应用场景。微波成像技术具有成本低、安全等特点,逐渐受到人们的关注。根据电磁
幼儿园课程是幼儿园教育最核心的组成部分,是幼儿园教育中最重要的研究领域和内容,课程资源的开发与利用是课程实施得以高效开展的依托和保证。《幼儿园教育指导纲要(试行)》也明确指出:“幼儿园应与家庭、社区密切合作,与小学相互衔接,综合利用各种教育资源,共同为幼儿的发展创造良好的条件。”充分利用社区资源开发课程资源是幼儿园课程建设的重要途径。X幼儿园地处大学校内,丰富的物质环境、独特的人文环境以及高学历的
随着大量高清网络摄像机的部署,边缘视频分析已成为边缘计算中的一种典型应用。由于不少边缘设备的计算能力有限,边缘视频分析仍然存在很多性能问题。比如高分辨率、帧率的视
在多边贸易规则下,产业的国际化分工也变得越发重要,参与国际分工的企业受产业价值链领导地位的厂商管理,按照相关厂商力量的不对称度可分为市场、模块、关系、捕获和层级五个治理模型。制定适宜的营销策略促使产业升级向价值链利润高端爬升,已经成为中国企业特别是中小型企业的当务之急。本论文以AI线缆公司营销策略为研究对象,根据公司发展现状,结合OEM行业特点,在全球价值链治理的模型下探讨企业目前所处的环境。通过
雷达三维成像技术是在垂直于二维SAR成像平面的方向增加了新的合成孔径从而能进行三维成像。两维的SAR平面图是通过对回波信号作二维匹配滤波得到的,是真实三维空间投影在距离-方位平面上的结果,它的每一个像素值都是三维空间中同一距离-方位单元内不同高度的所有散射点回波叠加的结果,存在叠掩、阴影、伸缩等几何失真,造成空间三维信息的缺失。三维SAR成像系统能够对观测场景进行三维重建,除具备距离-方位向的分辨
随着大数据、云计算、人工智能等技术的快速发展,数据中心的数量和规模也在不断扩大,数据中心已经成为世界上消耗电能最多的能源大户之一。如何提升数据中心能效成为了当前数据中心研究的热点问题之一。数据中心网络(Data Center Network,DCN)的能耗占到数据中心总能耗的10-20%。因此,提升数据中心网络能效会对数据中心整体能效有明显改善。当前数据中心网络通过冗余部署大量的网络设备应对网络流
分布式能源是近年来兴起的利用小型设备向用户提供能源供应的一种能源利用方式。与传统的集中式能源系统相比,由于兼具发电、供热、供冷等多种能源服务功能,分布式能源可以有效地实现能源的梯级利用,达到更高能源综合利用效率。本文以青岛胶东国际机场能源中心项目为研究对象,在投资决策之前,对该项目进行全面技术经济分析的科学论证。本文主要采用文献资料法、案例分析法、定量和定性相结合的分析方法,分别从技术可行性、经济
面对全球气候变暖带来的环境压力,各国都在倡导减少对大气排放温室气体,我国也积极采取节能减排的措施,其中交通运输业的碳排放日益增加。随着居民生活品质的不断提升,促进了
可见光通信技术作为一种新型无线通信技术,以其绿色环保,无需频谱认证等优点成为了无线通信领域的研究热点,同时人们对可见光通信中的通信距离和通信速率也提出了更高的要求。但是LED的有限带宽严重制约了通信速率的提高。除了改善通信系统中的元器件,采用复杂的高阶调制,均衡是一种最本质的针对信道的非理想传输特性,通过补偿信道,改善系统的总传输特性,从而提高通信速率的技术。因此均衡技术在可见光通信中具有很高的研