基于审议机制的视频描述方法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:yejing112
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频描述任务旨在利用计算机自动生成人类可读的自然语言来描述视频内容。近年来视频描述在人机交互、视频的快速检索、视觉障碍辅助系统等领域得到了越来越广泛的应用。目前,视频描述算法大多基于编码器-解码器框架。首先,利用编码器从视频序列中提取视觉信息,然后解码器根据编码得到的视觉特征,依次解码生成描述语句。尽管,此类方法在视频描述任务中得到了广泛应用,并取得了不错的性能提升,但一步解码的方式使得生成的序列直接作为最终的输出,缺乏对生成语句全局的考量,以及推敲、审议的过程,并且存在对生成描述阶段优化不足,具有曝光偏差,训练和推断评价指标不一致等问题。为了解决以上问题,本文对视频描述算法展开研究,主要工作如下:(1)构建了一种基于全局信息的审议网络(Global-aware deliberation network,DEnet_ga),该网络将审议机制引入传统的编码器-解码器框架中,使得模型解码当前单词时不仅考虑描述语句的前序信息,还考虑描述语句的后续信息。该网络有两层解码器,第一层解码器生成原始视频描述,第二层解码器用审议的方式打磨和细化原始视频描述。由于第二层解码器具有原始生成描述语句的全局信息,所以它可以通过利用原始描述中的未来单词来生成更好的语义描述。(2)在基于全局信息的审议网络的基础上引入软注意力机制,构建一种基于全局-局部联合信息的审议网络的视频描述方法(Global-local-aware deliberation network,DEnet_lga),通过软注意力机制让第二层解码器有选择的关注第一层解码器生成的全局信息以及更关键、更重要的局部单词,进一步生成更好的描述。(3)针对基于经典编码器-解码器框架的视频描述算法利用传统的交叉熵训练模型产生的曝光偏差和训练、推断评价指标不一致的问题,本文引入基于自批判序列训练(Self-Critical Sequence Training,SCST)的深度强化学习算法对以上提出的两种审议网络模型的训练方法进行改进,直接优化评价指标,进一步提升模型的性能。
其他文献
论文以绘画创作的过程与实践呈现绘画肌理在风景油画视觉上的影响和效果为研究对象,以油画肌理效果模仿大自然所形成的自然纹理及表现油画“似与不似”的创作理念展开,用绘画肌理替代自然风景的纹理和以偶然的肌理效果组织构成整个画面。通过对塑型媒介各种效果的尝试和对比,并对塑型媒介的薄厚、黏稠度、可塑性的强弱和时间的控制等研究与实践,表现绘画肌理在与风景画结合过程中的各种偶然性和意外的画面效果。学习和了解前人对
交流阻抗技术是电化学测试技术中一类十分重要的研究方法,近几十年来发展非常迅速,已成为研究电极过程动力学和表面现象的重要手段,应用范围已经超出电化学领域,越来越广泛。目前应用交流阻抗技术较多的如电化学领域中研究电极过程、金属腐蚀机理和耐蚀性能、缓蚀剂性能评价等;生物领域中研究生物膜的性能等;物理学领域研究电子元器件、导电材料的性能等;材料科学中研究材料的力学性能以及材料表面改性后的性能评价。将交流阻
地面铺装是城市公园景观环境中的一个重要界面,是与用路者接触最为亲密的。它不但能强化视觉效果,影响环境特征,表达不同的立意和主题,对游人的心理产生影响,同时还具有承担交通的职能,起到组织空间、划分空间的作用,最终影响到城市公园景观的整体效果。在现阶段中,我国城市公园景观设计虽然有一些优秀作品,但是在铺装设计方面还存在着许多不足。如何结合人的行为需求,确保满足各类人群的要求,体现铺装设计的合理化和人性
钛具有良好的生物相容性、耐腐蚀性以及机械加工等综合性能,在临床上被广泛的用作种植体材料。但是钛作为生物惰性材料,植入生物体后不能与骨组织形成牢固的骨性结合。此外,
随着油气勘探开发程度的不断加深,岩性油气藏等隐蔽性油气藏逐渐取代传统的构造油气藏,成为现在油气资源的主要来源,国内外的地球物理学家们也因此将工作的重心转移到岩性油
随着径向水平井技术的不断发展和完善,径向水平井技术在疏松砂岩油藏中使用越来越频繁。但是这种地质的油井具有严重出砂的特点,地层砂进入井下工具会使工具腐蚀,出砂严重时
为了把自主开发的BSF复合矿物掺合料(一种由废砖粉(Brick)、矿渣微粉(Slag)和粉煤灰(Fly ash)外加少量改性剂混合而成的矿物掺合料)拓展应用于道路道路混凝土,本论文尝试用这
近些年,随着我国社会经济发展,工业化进程加快,粗放式、高能耗的发展方式造成了严重的环境污染问题。一般污染环境行为可以借助民事赔偿、补偿,行政强制措施、行政处罚手段予以遏止及弥补。但是对于严重污染环境的行为,显然需要更为强硬、更为严厉的惩罚手段予以惩罚,并告诫全社会,否则无法保护全人类赖以生存的唯一的地球。对于自然环境造成不可逆的破坏与损害,它不仅破坏当代人民身体健康和生命利益,也威胁着今后世代的生
近几十年来,越来越多学者开始关注全球气候变暖这一热点问题,气候变暖必将对生态环境产生影响。冰川作为冰冻圈的重要组成部分之一,是气候变化的重要指示器,气温的持续升高和
随着化学计算软件以及计算机硬件的飞速发展,理论计算已经成为研究分子筛中催化反应的一种有效手段,在阐明吸附规律、反应机理的同时可以为优化设计分子筛催化剂提供理论依据