【摘 要】
:
帮助阐释世界的语义信息通常来自不同的模态,而信息时代可以更方便地访问文本、图像等多模态数据。因此,让人工智能处理多模态信息,建立能够处理和联系多种模态信息的模型,是人工智能领域一个潜力非凡的研究。近年来,利用深度学习的方法对多模态数据进行分析处理已逐渐成为一种趋势。但鉴于数据的异质性,研究者需要探讨如何构建共同的潜在空间来捕获模态间的语义相关性。因此,本文结合多模态数据的挑战及多模态数据集自身特点
论文部分内容阅读
帮助阐释世界的语义信息通常来自不同的模态,而信息时代可以更方便地访问文本、图像等多模态数据。因此,让人工智能处理多模态信息,建立能够处理和联系多种模态信息的模型,是人工智能领域一个潜力非凡的研究。近年来,利用深度学习的方法对多模态数据进行分析处理已逐渐成为一种趋势。但鉴于数据的异质性,研究者需要探讨如何构建共同的潜在空间来捕获模态间的语义相关性。因此,本文结合多模态数据的挑战及多模态数据集自身特点,利用深度学习来对多模态数据进行分类研究。1.针对有明确目标词导向的多模态数据进行分类时,使用单次注意力方法在关注多个分散的目标单词时会隐藏每个参与词特性,同时数据间长期依赖关系的问题会导致分类不准确。为了解决这一系列难题,提出了一种基于BERT的循环注意力网络。该网络开发了一种软的、连续的注意力机制,通过逐步优化目标敏感的文本特征和视觉特征的对齐和依赖关系,能有效地捕捉模内和模间动态。同时,提出了一种深度监督方法用来克服了由于循环次数过多而导致的反向传播收敛速度较慢和容易过拟合的问题。在多个基于目标词的多模态情感分类数据集上的实验结果证明,基于BERT的循环注意力网络针对有明确目标词导向的多模态数据进行分类时拥有更好的准确率。2.针对目标导向宽泛且模态数据繁杂的多模态数据进行分类时,单一细粒度或粗粒度注意力方法捕获具有宽泛特点的目标与其他模态的交互可能会导致信息丢失,同时引入繁杂的多模态数据丰富了特征但可能带来冗余和噪声。针对以上问题,提出了一种基于BERT的多粒度关注融合网络。该网络通过细粒度的注意力机制捕获目标和其他模态信息的模间交互,减轻粗粒度注意力机制中的信息损失。再结合粗粒度注意力对全局信息的提取,从而可以利用两者的优势。同时,提出了一种多模态融合机制,克服了冗余信息和噪声抑制分类精度的问题,强化对最终分类有益的特征。实验结果证明所提出的方法能提高针对目标导向宽泛且模态数据繁杂的多模态数据的分类效果。3.设计并开发了多模态数据分类系统,将本文所提出的网络模型运用于系统中,实现了针对不同特点的多模态数据集来选择相应模型进行训练,进而实现分类的功能。为人工智能能解释和推理多模态数据,完成多模态数据分类任务打下了坚实的基础。
其他文献
三萜化合物是一类具有多种骨架结构的生物活性物质,已经发现的三萜骨架多达120多种,包括具有椅-船-椅(CBC)构象的羊毛甾烷、波罗蜜烷、葫芦烷等四环三萜,以及达玛烷、甘遂皖、大戟烷等椅-椅-椅(CCC)构象的四环三萜,以及羽扇豆烷、何伯烷、乌苏烷、齐墩果烷、蒲公英烷和木栓烷等CCC构象的五环三萜。2,3-氧化鲨烯环化酶(OSC)是产生三萜骨架的关键酶,已有将近150种不用产物的OSC酶被鉴定,主要
植物自交不亲和性(Self-incompatibility,SI)是很多显花植物促进异交防止自交的一种机制。M位点蛋白激酶(M locus site pretion kinase,MLPK)是存在于柱头中的SI信号正向调节因子。羽衣甘蓝(Brassica oleracea var.acephala)是十字花科芸薹属植物,具有观赏价值和良好的耐寒性,是北方重要的园艺植物之一,芸薹属植物是植物自交不亲
白桦(Betula platyphylla Suk.)是主要分布于北温带的落叶乔木,作为北方森林重要的先锋树种和建群种,具有重要的生态价值。白桦木材黄白色,纹理光滑,材性优良,可广泛作为建筑和工业用材,具有很高的经济价值。白桦树皮中的白桦酯醇、白桦酯酸等三萜类化学物质,可用于制造抗肿瘤和防HIV药品等,具有很高的药用价值,也可用作化妆品和香料的制造。全球气候变化和不合理土地的开发使得盐碱地面积仍在
辣椒疫霉菌(Phytophthora capsici)是危害自然界蔬菜产量的一种毁灭性病菌,可危害多种蔬菜和作物,给全世界蔬菜种植产区带来了巨大压力,开发新型安全的生物防治方法迫在眉睫。白屈菜红碱于常见植物白屈菜中提取得到,属于生物碱中的苯并菲啶季胺碱,对于其在农学上抑制植物病害发生发展的方面已有研究,而目前还未应用于卵菌病害的防治方面。本论文以辣椒疫霉菌为研究对象,从分离鉴定、白屈菜红碱对其体外
自“人工智能+教育”的发展战略被提出,涌现出了一批优秀的数学领域智能教育产品,这些产品的底层都依赖于知识点标注精准的试题数据。然而,现有的知识点标注工作大多仍停留在手工标注阶段,不仅费时费力,而且易出现漏标、误标等现象。数学题目自动标注可提高知识点标注效率,具有推动社会生产力发展的积极意义,但此项工作还少有人研究。因此,如何利用数学领域知识特点,构建精准高效的数学题目自动标注系统,是本文研究的一个
哮喘病是世界上最常见的慢性病之一,因其患病人数多且难以根治给社会造成巨大影响。血常规数据可以用来辅助诊断哮喘病,有效提高医生诊断效率。但血常规数据集正负样本比例失衡及特征冗余问题,会影响哮喘病预测模型精度。针对以上问题,本文研究基于改进的过采样算法解决数据集正负样本比例失衡问题;采用改进的特征选择算法进行特征提取;设计并开发面向哮喘病的辅助诊断系统。具体工作如下:(1)针对血常规数据正负样本比例失
柔性作业车间调度(Flexible Job Shop Scheduling Problem,FJSP)是实现制造业高效率、柔性化、高品质和低成本的关键,具有重要的理论和实践意义。传统柔性作业车间调度只专注于单一目标,难以满足当前制造业的需求。多目标优化算法因可同时优化多个目标而被广泛用于解决柔性作业车间调度问题。当前基于多目标优化的柔性作业车间调度方法仍存在面对多个目标时调度方案多样性缺失、算法易
自2008年中本聪的比特币白皮书发表以来,历经多年快速发展,区块链技术已经慢慢成为解决数据的存储安全、传输安全、点对点交易的财产安全等问题的最高频的解决方案之一。随着区块链技术广泛应用于各个行业,其软件架构更加复杂,随之而来的是一系列安全问题,如女巫攻击、双花攻击、自私挖矿等给行业和用户带来了巨大损失,因此如何解决区块链系统安全问题,成为一个值得研究的方向。模型检测是保障软件可靠性的一个有力工具,
随着自然语言处理技术地发展,医疗问答受到越来越多的关注,多种医疗问答模型层出不穷。其中,使用医疗知识图谱的信息增强问答对表示的方法是一个新颖且值得研究的领域,能帮助模型在文本处理的同时考虑到医疗实体间的内在联系。现有的融合知识图谱的问答匹配模型将问句和答句及其实体通过注意力压缩成两个向量进行匹配,忽视了问答对之间细粒度的交互信息。此外,在真实场景下人们语言表达中经常出现冗余词和噪声词,影响问答匹配
造血作用是一个重要的生物学过程,影响个体正常的生长发育。黑腹果蝇是生物学研究中重要的模式生物之一,具有容易饲养、体型小、子代多和遗传背景明确等优点。果蝇与哺乳动物造血系统在调节因子和信号转导通路之间存在相似性,因此已经成为研究哺乳动物造血疾病的理想模型。Spen蛋白具有调节细胞周期、神经元细胞命运和神经元突起延伸等功能。Spen家族蛋白从90 k Da到600 k Da大小不等,主要包含三个RRM