语言结构引导的可解释视频语义描述

来源 :软件学报 | 被引量 : 0次 | 上传用户:bzah123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频描述技术旨在为视频自动生成包含丰富内容的文字描述,近年来吸引了广泛的研究兴趣.一个准确而精细的视频描述生成方法,不仅需要对视频有全局上的理解,更离不开具体显著目标的局部空间和时序特征.如何建模一个更优的视频特征表达,一直是视频描述工作的研究重点和难点.另一方面,大多数现有工作都将句子视为一个链状结构,并将视频描述任务视为一个生成单词序列的过程,而忽略了句子的语义结构,这使得算法难以应对和优化复杂的句子描述及长句子中易引起的逻辑错误.为了解决上述问题,提出一种新颖的语言结构引导的可解释视频语义描述生成方法,通过设计一个基于注意力的结构化小管定位机制,充分考虑局部对象信息和句子语义结构.结合句子的语法分析树,所提方法能够自适应地加入具有文本内容的相应时空特征,进一步提升视频描述的生成效果.在主流的视频描述任务基准数据集MSVD和MSR-VTT上的实验结果表明,所提出方法在大多数评价指标上都达到了最先进的水平.
其他文献
自安卓系统发布以来,由于其开源、硬件丰富和应用市场多样等优势,该系统已成为全球使用最广泛的手机操作系统.同时,安卓设备和安卓应用的爆炸式增长也使其成为96%移动恶意软件的攻击目标.在现有的安卓恶意软件检测方法中,忽视程序语义而直接提取简单程序特征的方法,其检测速度快但精确度不够理想,将程序语义转换为图模型并采用图分析的方法,其精确度虽高但开销大且扩展性低.为了解决上述挑战,将应用的程序语义提取为函
期刊
<正>随着计算机应用的不断发展,软件已经渗透到国民经济和国防建设的各个领域,在信息社会中发挥着至关重要的作用.同时,各行各业依赖各类软件,软件的可信性与供应链安全已成为学术界和工业届不可忽视的根本性问题.一方面,人们对软件的可靠性、安全性、防危性等传统可信性质以及可解释性、隐私性和公平性等新兴可信性质提出了更多和更高的要求;另一方面,复杂的软件供应链引入的一系列安全问题,导致信息系统的整体安全防护
期刊
随着开源软件技术的不断发展,为提高开发效率并降低人力成本,组件化开发模式逐渐得到行业的认可,开发人员可以利用相关工具便捷地使用第三方组件,也可将自己开发的组件贡献给开发社区,从而形成了软件供应链.然而,这种开发模式必然会导致高危漏洞随组件之间的依赖链条扩散到其他组件或项目,从而造成漏洞影响的扩大化.例如2021年底披露的Log4j2漏洞,通过软件供应链对Java生态安全造成了巨大影响.当前,针对J
期刊
目的:应用独立成分分析(independent component analysis,ICA)的方法分析静息状态功能磁共振成像(Resting state functional magnetic resonance imaging,Rs-f MRI),从而对高度近视(high myopia,HM)患者不同脑区功能网络连通性(functional network connectivity,FNC)和
学位
背景:高眼压症(Ocular hypertension,OH)是一种常见但机制不明的疾病,目前国内外尚无文献报道使用静息态功能磁共振(resting-state functional magnetic resonance imaging,rs-fMRI)的分数低频波动振幅(fractional amplitude of low frequency fluctuation,fALFF)方法对OH的发
学位
目的:对一个出现伴发闭角型青光眼的视网膜色素变性(retinitis pigmentosa,RP)病例的家系进行临床表型的分析,检测家系中导致视网膜色素变性的致病基因突变,并对家系中除视网膜色素变性以外的眼部疾病或病理改变进行致病基因筛查。方法:对纳入试验的家系成员进行详细的临床检查,抽取外周血并提取基因组DNA,运用全外显子组测序(Whole-exome sequencing,WES)进行检测,
学位
目的:通过眶下神经定量感觉测试,评价局部应用曲安奈德联合鼠神经生长因子辅助治疗眶下壁骨折后眶下神经损伤的临床疗效。方法:前瞻性随机对照研究。纳入2020年4月至2021年3月于南昌大学附属眼科医院接受眶下壁骨折整复术的眶下壁骨折患者43例(43眼)。采用随机数字表法将患者分为两组,其中试验组20例(20眼)术中将浸润曲安奈德和鼠神经生长因子的明胶海绵放置于神经损伤处;对照组23例(23眼)术中无特
学位
智能合约作为可信的去中心化应用,获得了广泛的关注,但其安全漏洞问题对其可靠性带来了巨大威胁.为此,研究者们利用各种前沿技术(如模糊测试、机器学习、形式化验证等)研究了多种漏洞检测技术,并取得了可观的效果.为了系统性地梳理与分析现有智能合约漏洞检测技术,搜集截至2021年7月关于智能合约漏洞检测的84篇论文,根据它们的核心方法进行分类,从每种技术的实现方法、漏洞类型、实验数据等方面展开分析,同时对比
期刊
随着信息技术与教育的深度融合,蓬勃发展的在线教育已成为教育信息化进程的新常态,并产生了海量的教育数据,但也面临辍学率高、课程完成率低、监管不足等问题,因此如何对海量教育数据进行挖掘和分析是解决这些问题的关键.学习共同体是以学习者为核心要素的学习组织,强调学习过程中学习者之间互动交流、资源共享以及协作学习等行为,从而完成共同的学习任务或目标.对在线教育环境中学习共同体的研究进行回顾、分析和展望.首先
期刊
目的:通过比较IOL Master 700与IOL Master 500在轴性近视合并白内障患者的生物测量与人工晶体度数计算结果,观察分析IOL Master 700在临床应用中的精确度。方法:前瞻性研究,收集2021年5月-11月在我院眼科就诊的轴性近视白内障患者,眼轴>24.00mm,50例(67眼),分别采用IOL Master 700及IOL Master500测量眼球生物参数眼轴(AL)
学位