【摘 要】
：
视觉对话是一个涉及计算机视觉与自然语言处理领域的多模态任务,其不同模态信息之间是存在相关性的。现有的视觉对话模型首先分别获取图像、问题和对话历史的特征,然后利用特征融合方法对三部分特征进行融合,最后利用融合向量推理问题的答案。视觉对话模型中常用的特征融合方法是后期融合,然而这种方法并没有深入考虑图像、问题以及对话历史之间的相关性,忽略了三者间潜在的交互,导致模型预测不精确。为了解决这一问题,本文旨
论文部分内容阅读
视觉对话是一个涉及计算机视觉与自然语言处理领域的多模态任务,其不同模态信息之间是存在相关性的。现有的视觉对话模型首先分别获取图像、问题和对话历史的特征,然后利用特征融合方法对三部分特征进行融合,最后利用融合向量推理问题的答案。视觉对话模型中常用的特征融合方法是后期融合,然而这种方法并没有深入考虑图像、问题以及对话历史之间的相关性,忽略了三者间潜在的交互,导致模型预测不精确。为了解决这一问题,本文旨在研究如何有效的挖掘不同模态特征之间潜在的交互信息,并利用不同模态特征之间潜在的交互信息去预测答案。本文的主要贡献点如下:（1）提出了一种基于Mask机制的多层Khatri-Rao（KR）积方法,该方法用于捕获不同模态特征之间潜在的交互信息。通过Mask机制可以进一步减少冗余的特征组合,通过多层KR积结构可以更全面的捕获不同模态特征之间潜在的交互信息;（2）提出了一种基于后期融合与多层KR积融合的特征融合方法,该方法在后期融合的基础上,结合了基于Mask机制的多层KR积方法。通过该方法不仅可以获取到不同模态信息内部独有的特征,同时也充分挖掘了不同模态特征之间潜在的交互信息;（3）在两个视觉对话模型上采用了基于后期融合与多层KR积融合的特征融合方法,并在Vis Dial v1.0数据集和Vis Dial v0.9数据集上验证了本文所提方法的有效性。实验结果表明在视觉对话模型上应用本文所提的特征融合方法可以进一步提升性能。
其他文献
随着我国的不断发展,门窗行业的国家标准也在不断升级,人们对于门窗的审美和消费能力也在发生改变,高质量门窗的市场需求开始逐步显现。因此,这几年“系统门窗”逐渐火爆起来,以佛山派为代表的国产系统门窗企业迅速崛起,抢占市场高地,高端门窗市场总量逐步扩大。同样,来自欧洲的AL门窗系统公司面临的竞争压力越来越大,怎样抓住市场机遇,选择适合的营销策略,变成了公司发展的首要任务。本文以此为切入点,根据门窗发展趋
水泥企业在实施内部管理工作时,应当加强对环保管理工作的重视,结合企业生产特点,重视控制无组织排放的问题,强化治理力度。本文以永登祁连山水泥有限公司为研究对象,以其开展的治理与控制无组织排放工作为研究内容,确定其使用的治理方法,总结应对无组织排放的经验,满足环保管理要求,支持水泥企业在环保事业中做出更多的贡献。
针对1台存在严重高温腐蚀问题的660 MW超超临界参数锅炉进行了贴壁风方案设计及工程应用研究。首先，对改造前水冷壁区域的贴壁气氛进行了测试，发现主燃区侧墙处于很强的还原性气氛，是发生严重高温腐蚀的主因。随后，提出了高速直流贴壁风改造方案，在前后墙各布置4层喷嘴，采用一次风为风源，以10°夹角斜向送入高温腐蚀严重的区域，并采用数值模拟对该方案的实施效果进行预测分析。最后，在该锅炉上实施了改造方案，进
现如今,人类对生态环境的破坏日益严重,其原因之一就是来自于化石燃料的大量使用。科学家们在探索绿色清洁能源的过程中,发现生物质是一种全球储量十分丰富的可再生能源,如纤维素、木质素等,其热解得到的产品是非常绿色而经济的燃料替代品。但由于其快速热解所得到的生物油黏性较强,且含氧量和含水量都偏高,化学性质不稳定,因此不适合直接作为燃料使用。所以,本研究对生物油进一步加氢精制来有效地解决这些问题。为了达到这
业财融合从价值角度对企业业务活动进行事前预测和流程梳理，发现增值流程，并将这些信息反馈给业务部门，指引业务前端，为管理决策提供依据。业财融合有助于企业快速响应外部环境，提高决策效率和效果。目前业财融合正逐步被企业所应有，实践中遇到了许多问题。本文先阐述了业财融合的内涵，再对从观念意识、管理机制、人才培养及数据信息系统等各方面对目前企业在业财融合过程中存在的问题进行了分析，并提出相应的解决方案，从而
凄凉调调意包括《凄凉意》《楚商意》两首，最早见于《神奇秘谱》,后分别存见于明清共十五部琴谱中。在琴谱的传承与流变中，两首调意形成了多种版本体系，《凄凉意》的诸多版本在宫系、调式、结构、词曲关系等方面呈现稳定的特征，在音阶、旋律、指法方面较为灵活；《楚商意》的版本流变相对稳定，体现了明代浙派徐门琴谱较为规范的传承特点。由于凄凉调定弦的特殊性，该调琴曲在调高方面有多种可能。《凄凉意》与《楚商意》中包含
情感是人类固有的,因此,情感识别是机器在自然的人机交互中理解和产生情感反应的关键部分。对话中的情感识别近年来受到了广泛的关注,并且由于其在社会媒体,医疗保健,教育和人工智能交互等多个领域的广泛应用,已成为自然语言处理研究的新领域。因此,有效的情感识别算法具有重要意义,但是这仍然是一个具有挑战性的任务。基于上下文无关和上下文相关的情感识别是情感计算中的两个重要任务。对于第一个任务,近年的研究主要集中
推荐任务是目前学术界和工业界都较为热门的一个研究方向,推荐系统旨在从海量物品中筛选出用户可能感兴趣的物品并推荐给用户。从传统的协同过滤方法开始,推荐任务逐渐衍生出很多分支,分别应用于不同领域。随着社会媒体的流行和社交网络的普及,许多人会在各大社交平台上发表自己对物品的评价,社会推荐应运而生。它利用用户之间的社交网络作为辅助信息来缓解传统推荐模型的数据稀疏性问题,以此来提高推荐性能。而其中社会影响对
随着我国医药市场的不断发展，对医药冷链物流的需求日益增大。为提高我国医药冷链物流的发展水平，本文通过文献检索，分别从软硬件基础建设、第三方医药冷链物流发展、人才需求等方面对我国医药冷链物流的现状及存在的问题进行分析，并提出了适当的建议，为提高我国医药冷链发展水平提供一定的参考。
目前我国关于农村污水PPP项目风险的研究较少,关于项目运营中可能遇到的实际问题或风险也不能进行较全面的识别,这导致项目的风险管理往往不能周全考虑到企业方所会接触到的实际运营中的动态风险因素。因而当项目运营成本在受风险影响而发生变化时,合同约定并不能同时满足政府、企业、社会方的利益或业绩需求,导致公共利益受损。故对于农村污水PPP项目进行风险管理研究十分重要。本文针对天津市B区农村污水PPP项目进行