基于充分场景表达的无监督跨模态检索研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:wujie1983
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社交媒体与信息技术的发展,海量的多模态数据广泛分布于互联网中,人们亟需一种能够跨越数据模态间差异的检索方法来满足他们日益增长的检索需求。因此,跨模态检索成为了近几年的一大研究热点。为了跨越不同模态间的异构鸿沟以及语义鸿沟,跨模态检索方法需要为多模态数据学习公共表达并将它们共同投影到公共空间中以进行相似性度量。而现有的大部分无监督跨模态检索方法都忽略了多模态数据的本质,对多模态数据的公共表达缺乏合理的数学建模,导致它们过分地关注多模态数据间的相似性保持问题,并尝试将模内相似性与模间相似性这一对相互约束的相似关系同时保持到公共空间中,使得它们生成的公共空间出现分布混乱的问题,进而影响跨模态检索的精度。针对此问题,本文对多模态数据的本质以及不同模态间的关系进行思考和讨论,将多模态数据的公共表达明确定义为一种包含充分的场景信息的表达,并提出了表达补齐的方法在无需考虑大量相似性关系的情况下为多模态数据生成这种包含完整信息的公共表达。本文的主要工作包括:1.从场景的角度对多模态数据的本质进行了分析,并将多模态数据的公共表达抽象定义为充分场景表达,公共空间则建模为以各个单模态空间作为子流形的高维流形。2.基于对公共表达的建模,提出了一种基于逻辑回归的表达补齐方法,可以为多模态数据补齐它们在其他模态下所缺失的表达和信息从而有效地为它们生成充分场景表达并进一步嵌入到高维的公共流形中进行相似性度量。3.基于高斯混合模型对多模态数据进行建模,并分别为不同模态的数据生成其统计表达。于是,单模态空间与公共空间均被抽象成了统计流形,而多模态数据间的相似性也可以在统计流形中通过测地距离准确地度量出来。并且本文基于此度量为多模态数据进一步生成跨模态哈希以进行更加高效的跨模态检索。本文在三个常用的多模态数据集上分别与9种主流的无监督跨模态检索方法进行了实验对比,充分地展现了所提方法在跨模态检索上的优异性能。并且,通过一系列的消融实验,也证明了本文将公共表达定义为充分场景表达的正确性以及表达补齐方法的有效性。
其他文献
西部大开发以来,西部地区旅游业迅猛发展,当地居民收入是否显著增长、城乡收入差距是否减小是关乎这一战略是否成功实施的重要问题。在此背景下,深入研究当地旅游发展对居民增收、城乡收入差距的作用,具备不可小觑的理论意义及现实意义。本文基于区域经济发展理论、可持续发展理论等,运用对比分析、模型实证分析等方法,对西部大开发以来西部地区旅游发展对居民收入及城乡居民收入差距的影响进行了细致的研究,研究内容与主要结
学位
符号计算是一种处理数学对象的计算。与数值计算的结果是近似解不同,符号计算的结果是精确的。符号计算的结果一般通过复数、有理数或者是多项式的形式进行表示。随着现实问题的复杂化,符号计算的数量越来越多,计算对象也越来越复杂,手工计算成为了一种可能却不可行的事。通过计算机进行符号计算能做到准确、快捷和有效,以及避免手工计算疏忽而导致出错的情况。在python中,大部分的符号计算问题都可以通过Sympy来解
学位
在现代公司制制度下,企业的所有权与经营权逐渐分离。当市场经济规律失灵,企业的代理人便会按照自身的利益函数行事,从而做出损害委托人的利益的行为,委托代理问题由此产生。而反观亚洲各国和地区,由于这些国家的公司股权集中度显著偏高,大股东往往凭借有限的现金流权掌握了更多的控制权,从而导致小股东权益时常受侵犯,因此第二类代理人问题在我国更为普遍,也更符合我国的国情,相关研究也证实了这一点。基于此,本文以经济
学位
随着工业技术的发展,移动机器人作为代替人类劳动的帮手,越来越活跃在工厂物流,生活服务等领域,其核心技术同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)得到了极大的重视。由于视觉SLAM使用图像特征点作为路标,长期受困于光照不变假设,这影响了SLAM系统在定位和建图方面的鲁棒性和精确性。本文提出一种基于语义特征的地图构建方法,能适应光照和摄像
学位
县域是实施“五良”融合产业宜机化改造的主体,位于成渝发展主轴的资阳、内江、遂宁3市共辖13个县(市、区),地处川中丘陵地区,是四川开展土地宜机化改造的重要区域。本文从县域视角分析“五良”融合宜机化改造现状及问题,并提出成渝发展主轴县域实施宜机化改造的对策建议。
期刊
近年来,深度学习发展迅速,在理论上取得了许多突破,并且广泛应用于各个领域,例如,股票市场预测、天气预报、医学诊断、语音识别、图像分类。优化作为深度学习的重要组成部分,引起了研究学者的广泛关注。随着数据量的指数增长和模型复杂性的增加,深度学习中的优化方法面临着越来越多的挑战,各个领域的研究学者们相继提出了许多改进深度学习的优化方法。目前主流的优化算法是基于梯度的,收敛速度较快。但是,当优化场景包含多
学位
篮球已成为越来越多人喜爱的运动项目。然而如何锻炼篮球运动所需要的核心力量,是当前很多人不太了解的知识。因而科学有效提升篮球爱好者的核心力量,才能不断提升练球运动技能。因此本文从篮球运动核心力量训练中存在的问题出发,探析相应的解决方法,以期为篮球训练带来一定的参考价值。
期刊
近年来随着信息技术快速发展,互联网在各个行业大放异彩。“互联网+”对传统各个行业都产生了巨大影响。对于医疗行业,“互联网+”已然产生了巨大影响,并由此催生了医疗健康信息化行业。此次研究的意义主要表现在四个方面,第一,根据卫宁健康公司的发展现状,了解公司目前的对手。第二,结合公司的发展状况,制定相应的转型策略,增强竞争水平。第三,帮助卫宁健康公司更好的了解自身的优势,掌握自身的缺点。第四,提出的战略
学位
聚合物电解质由于其比表面积大、灵活性高且与电极的相容性好等优势,在电池中的应用一直是研究者们关注的热点。但由于聚合物电解质的离子电导率低和电化学稳定性差等缺点阻碍了其进一步的实际应用,因此需要对其进行改性和处理。本文以聚甲基丙烯酸甲酯(PMMA)为聚合物基体,采用无溶剂的制备过程以及不同的改性方法制备了两种基于离子液体的聚合物电解质,分别应用于锂离子电池和双离子电池体系,并且分析和探讨了聚合物电解
学位
电化学发光(Electrochemiluminescence,ECL)是一种检测灵敏度高、操作成本低、应用范围广的技术,在分析检测领域内极具发展潜力。目前,ECL传感器的发光材料以钌基分子为主。随着材料科学的发展,越来越多的新型发光体展现出了卓越的ECL性能,但是一些固有缺陷,如疏水性、溶剂依赖和聚集诱导猝灭等问题,极大限制了这些材料在ECL传感方面的应用。双极电极(Bipolar Electro
学位