【摘 要】
：
信息科学的飞速发展,使人类的交流逐渐摆脱了单模态的桎梏,通过多模态之间的协同交互来传递信息和交流情感。多模态交互手段的推广,也激发了更多学术界对于多模态研究的关注,而多模态隐喻研究正是多模态语篇研究和跨学科研究相互交织,产生的一个全新的研究方向。本文从多模态机器学习的角度出发,设计了基于双线性池化的多模态隐喻识别模型。本文首先构建了一个多模态隐喻数据集,包含文本和图片两个模态,并且包含多种数据来源
论文部分内容阅读
信息科学的飞速发展,使人类的交流逐渐摆脱了单模态的桎梏,通过多模态之间的协同交互来传递信息和交流情感。多模态交互手段的推广,也激发了更多学术界对于多模态研究的关注,而多模态隐喻研究正是多模态语篇研究和跨学科研究相互交织,产生的一个全新的研究方向。本文从多模态机器学习的角度出发,设计了基于双线性池化的多模态隐喻识别模型。本文首先构建了一个多模态隐喻数据集,包含文本和图片两个模态,并且包含多种数据来源。本文使用了当下最先进的计算机视觉技术和自然语言处理技术,从图片和文本中分别提取特征,并且改进传统的双线性池化方法,并且增加了注意力机制,使其有效融合来自不同模态的特征。最后使用Softmax对融合特征进行分类,得到多模态隐喻预测的结果。本文的主要贡献包括两个部分:（1）本文构建了一个经过标注的多模态隐喻语料库（图片、文本）,包含来自一系列来源的10,437个文本图像对。除了是否为多模态隐喻的标注外,本文还对多模态隐喻相关的其他任务进行了标注,包括多模态隐喻出现的模态、领域关系、隐喻传达的情感和作者意图。此外,本文提出了一系列强有力的基线,并展示了结合多模态线索对隐喻理解的重要性。（2）本文设计了一个基于双线性池化的多模态隐喻识别模型,使用文本、图像、图像内嵌文本和图像属性作为四种模态来检测隐喻。更重要的是,本文使用注意力多模态双线性池化融合方法对四种模态进行深度融合,可以利用不同模态数据之间的互补性来提高模型的检测性能,达到了0.9019的准确率和0.8988的F1值。对比实验和消融实验的结果证明了模型的有效性。同时泛化实验分析的结果,证明了本文提出的模型具有很强的扩展能力,在相似的多模态任务上也具有出色的表现。
其他文献
随着互联网的飞速发展,以图像、视频等多种模态出现的数据呈爆炸式增长,如何有效地进行跨模态数据检索逐渐成为研究热点。在众多跨模态检索方法中,基于哈希编码的无监督跨模态检索方法因其高效的检索速度、低廉的存储代价和无需费时费力的手工标注而备受关注。现有的研究大都通过在汉明空间内保持哈希码的域结构信息以学习特定模态的哈希函数,往往忽略了对多模态实例邻域关系的有效探索。此外,大都未考虑构建的语义关联信息中存
芳香族化合物的硝化是一类重要化工过程,传统间歇反应器生产模式下的非均相硝化过程安全性及生产效率受限,其反应快速和高度放热的特性使之在工业生产中仍面临许多技术挑战。微反应器具有高效的相间热质传递性能,能够精准调控反应条件,本质安全性高,在非均相硝化过程的研究与强化等方面有较大优势。本论文基于液滴流微反应器,开发了一种连续流工艺用于芳香族化合物的硝硫混酸硝化反应过程,对其动力学进行了研究,建立了拟均相
随着深度学习技术的快速发展及在安全攸关领域的广泛应用,提升深度学习模型的可靠性变得十分必要。测试作为检测软件系统缺陷的常用技术,也被应用于深度学习模型的错误检测。然而,由于遵循数据驱动的深度学习模型在测试中需要庞大的测试数据集,且需要人工对数据集进行标记,因此,如何在保证测试有效性的同时缩减测试数据集以减少测试成本,成为研究热点问题。本文为了缓解深度神经网络（Deep Neural Network
社交网络的发展方便了人们日常的沟通,促进了用户之间线上的交流,但是也给人们带来了一定的风险。信任在社交活动中起着重要作用,可以有效地规避不可靠用户带来的风险。由于社交网络中的用户大多数没有直接的信任关系,更多的是通过共同的朋友进行间接联系。因此,如何建立起间接用户之间的信任关系,以至构建信任网络成为一项挑战。间接的信任关系可以通过信任传递来进行信任推理,信任传递过程中信任的传播和聚合在很大程度上影
医学影像合成是重要的医学图像处理技术,旨在根据已有模态的医学影像数据构建跨域非线性映射,合成缺失模态医学影像数据。然而,由于医学影像数据高维特征复杂、数据规模庞大,现有方法无法有效地学习特征表示,导致医学影像合成的精确性、保真度和计算效率较低,难以在实际临床应用中开展部署。为此,本文研究两种基于生成对抗学习的医学影像合成方法,提高复杂高维特征的学习能力,改善影像合成计算效率,提升医学影像合成的临床
本文主要研究二次曲面支持向量机的相关模型和算法。传统支持向量机的性能和表现在很大程度上是由其中核函数参数的选取决定的,并且其分类精度容易受到离群点和噪声的影响。由于直接利用二次曲面来分离训练样本点无需使用任何核函数,同时损失函数可以很好地去度量样本真实值和模型预测值之间所存在的差异,本文将变式的逻辑回归损失函数引入二次曲面支持向量机,提出了变式逻辑回归损失函数二次曲面支持向量机（LQSSVM）。在
本文,我们考虑了求解次模最大化问题与两阶段随机非线性规划问题的一阶优化算法.论文的前半部分我们介绍了求解次模最大化问题的相关内容.首先,我们利用具有固定步长的条件梯度算法求解确定的连续Diminishing Returns（DR）-次模最大化问题,在目标函数分别是单调和非单调的情况下,给出了算法的收敛性分析.已有的研究结果主要集中在约束集为下闭凸集的情形,我们则将单调情况下的约束集拓展至一般的凸集
随着锂离子电池的低安全性和锂资源短缺等问题日益凸显,发展新型储能体系迫在眉睫。近年来,水系可充电锌离子电池（AZIBs）,以其高功率密度、本质安全及绿色环保等优势,成为后锂电时代的新型储能体系中备受关注的研究热点。结构稳定、高理论比容量的Zn2+宿主正极材料是AZIBs中不可或缺的重要组成部分。其中,锰基化合物MnO2因兼具低成本、高理论比容量和低毒性等优点,被认为是AZIBs中最具前途的正极材料
超级电容器由于其功率密度高、温度特性好以及循环寿命长等特点,已成为储能领域的研究热点,但仍存在着能量密度低,造价高昂等缺点,限制了其大规模商业化使用前景。过渡金属硫族化合物因其理论比容量高、氧化还原反应活性高、价格低廉等优点,成为了超级电容器研究的热点电极材料。然而,过渡金属硫族化合物存在着倍率性能差、循环稳定性低等缺点,严重影响了其在超级电容器的应用。针对这些问题,本论文采用与导电基质复合、微观
快速城市化的平原城市河网水动力条件不足,导致河网自净能力差,污染严重,进一步导致了河流物种多样性的丧失,阻碍城市河流中鱼类等生物生境恢复。提升可控的水动力条件是平原城市河网生态修复的有效手段之一,建立生态模型对生境恢复潜力进行定量表征可为水质水动力提升后平原城市河网生态恢复效应的研究提供借鉴建议,对平原地区城市河流水环境深化改善以及生境恢复潜力发展具有重要理论和实际指导意义。本研究选取中国典型平原