基于深度注意力和深度融合的视频问答研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:lpf811
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今时代,数据越来越多的以非结构化的形式出现,视频已经成为信息的主要载体。自动分析海量视频并从中获取有用信息是非常具有挑战性的工作。视频问答作为最能衡量视觉语义理解的方向之一受到研究人员的广泛关注,该任务需要在给定自然语言问句的条件下理解当前视频并给出合理的答案,这无疑能对自动理解海量视频提供巨大的帮助。当下处理视频问答任务的主流方法都是采用深度神经网络模型,基本组件包括卷积神经网络(Convolution Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN)和注意力机制(Attention Mechanism)等。但现有模型不能充分利用文本信息,其注意力机制更加偏向于视频特征,融合机制也不能充分融合文本和视频的多模态特征。本文提出基于深度注意力和深度融合的视频问答模型。深度注意力是一种新的注意力计算方法,它能够有效地构建帧-词一级的多瞥注意力图,从而高效获取帧和词之间的相关性权重,且构建注意力图所需要的参数量也大大减少。深度融合是一种基于残差学习(Residual Learning,RL)的多输出模型结构,它能够更有效地利用多瞥注意力图信息,并引入提纯模块不断优化融合特征,使其信息更加具有针对性。本文在三个数据集上做了大量的实验,从而验证模型的效果。实验结果表明,本文提出的算法模型能够较好地解决视频和文本的融合问题,在三个较有挑战性的数据集上效果提升明显,从而证明了算法的有效性。
其他文献
本文旨在回答为什么现代银行诞生在英国,研究对象是1694年英格兰银行的一名普通股东塞缪尔·詹克。我们不仅能通过詹克的故事了解17世纪英格兰的经济、政治和宗教背景,更重要的是,能借此探索各种制度如何与一个普通人相互作用和影响,也就是制度与人的互动。既然本文展现的往往是人的行为而非精神状态,是人的行动而非解释框架,所以偏重于叙事而非结构。因此,使用的主要原始文献是日记和信件,这些文本都由詹克和詹克的家
本论文收集了111名来自中国和125名来自墨西哥的具有LinkedIn领英账户的B2B从业者的调查数据,该调查测量了被调查者的个人层面的文化价值水平(包括个人主义与集体主义,长期取向及自身放纵),以及他们对领英使用的感知效益及使用频率。本研究发现,与报酬、享乐及便利性相关的效益对两国的被调查者而言都有较高的认同度。中国样本中的长期取向变量与墨西哥样本中的个人主义与集体主义变量对报酬效益与领英使用频
目的:探讨颈内静脉肩胛舌骨肌淋巴结(jugulo-omohyoidlymph nodes,JOHLN)对甲状腺乳头状癌(papillarythyroidcarcinoma,PTC)患者颈内静脉后群淋巴结转移的预警作用及其临床意义。方法:回顾性分析吉林大学白求恩第一医院甲状腺外科自2010年6月至2019年6月由同一教授组收治的220例侧颈部高危转移的PTC患者临床病理资料,这些患者均接受了甲状腺癌
在英国历史上,爱德华四世是一位极具“特殊性”的国王。这表现在以下两点。首先,他是“新君主制”的开创者。其次,他具有失位与复位的传奇经历。其中,爱德华四世失去王位后的复位经历,最具传奇色彩,且对英国历史发展产生了深远影响,是一个有研究价值的话题,值得系统探讨。本文包括绪论和正文五个章节。正文部分,首先介绍爱德华四世统治的社会背景,论述“变态封建主义”和玫瑰战争背景下,兰开斯特派与约克派围绕王室政府控
科技英语翻译推动了世界科技的交流与发展,并促进了全球化的进程。《通用激光分析设计软件理论手册》作为典型的科技文本,介绍了一种用于优化光学设计的光学模拟技术。此次《通用激光分析设计软件理论手册》的中文翻译有助于光学科研人员掌握该项模拟技术,并将其运用于相关的光学工程研究。此外,该翻译还有助于这一光学模拟技术的推广,让更多的光学科研人员了解和学习该项技术,进而促进光学研究的发展。本翻译实践报告旨在探讨
薄层的石墨烯虽然面内热导率极高,但是在垂直面上的热导率较小,想充分利用其导热性能,可以在石墨烯片层间加入纳米金刚石和Cu纳米颗粒,充当石墨烯片层间传热的介质,同时施加机械外力将其定向组装成有序的层状结构,制成三维石墨烯散热复合材料。金刚石/SiC复合材料是新一代高性能电子封装材料之一。添加Cu可以在烧结过程中形成固溶体降低烧结温度,有望在较低温度时放电等离子烧结(SPS)出导热性能较好的金刚石/S
学位
毛泽东诗词具有壮怀激烈的宏大气魄、雄奇瑰丽的美学价值及生动传神的史料意义。将毛泽东诗词灵活运用于思想政治教育教学,能让大学生体会到毛泽东在跌宕起伏的中国革命进程
5G商用时间预计比原计划时间提前,2019年会在中国国内进行5G试商用,2020年正式商用。通信技术的变革会带来手机产品的新一轮的更新换代,消费者想要使用5G网络带来的便利,则必须更换5G手机。vivo手机近年来通过多渠道广告宣传提升品牌知名度,并通过销售渠道下沉,走进广大乡镇农村市场布局销售网点并做出了一番成绩。vivo手机通过精准的市场细分、确定目标市场和自身的市场定位获得了巨大的成果。笔者选
作为重要的工业产品,传感器一直发挥测量信息流动的媒介作用,承担对其它工业产品的质量和安全性进行评估和监督的角色。时栅位移传感器经过20多年的发展,技术趋于成熟,产品种
目的研究Watson for oncology(WFO)与宁夏医科大学总院肿瘤医院临床医生对乳腺癌术后辅助治疗决策的一致性并探索其应用价值,分析WFO与临床医生治疗决策一致性的影响因素,寻找WFO与临床医生治疗决策不一致的原因。方法收集2017年1月至2018年1月就诊于宁夏医科大学总院肿瘤医院行手术治疗后经病理确诊为乳腺癌的263例患者的病例资料,将所有入组患者病例资料输入WFO,得出WFO治疗