基于强化学习的视频理解和字幕描述研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:yin_guohan163
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习以及强化学习在计算机视觉(CV)和自然语言处理(NLP)领域取得了显著的研究成果。而视频字幕生成作为联系视觉和自然语言的桥梁,针对视频内容自动生成描述准确、表达自然的语句,是一项具有重要社会现实意义的研究内容。论文以强化学习作为研究工具,围绕视频生成描述的特征提取能力和生成语句的自然性等方面开展研究,主要研究内容如下:首先,提出了一种融合Inception-Res Net-v2模块与C3D的Inception-Res Net-C3D网络,通过增大网络深度与宽度,有效提升了C3D网络的特征提取能力,改进了网络难以训练以及容易过拟合的问题。通过与相关特征提取网络的对比试验,表明改进后的Inception-Res Net-C3D网络提升了对视频特征的提取能力,使提取的视频特征更好表征视频内容的时空信息。其次,设计了基于强化学习的视频描述生成模型。模型结构以对抗生成网络为基础,采用编码-解码框架作为视频描述的生成器,并分别设计了基于CNN和RNN网络的判别器。针对生成描述语句自然性较弱的问题,添加了以CIDEr-D作为评估标准的语句评估模块。通过结合判别器的输出D与语句评估模块的输出Q作为强化学习的回报函数,交替训练生成器与判别器来平衡模型生成的视频描述的准确性与自然性。最后,借助Tensorflow深度学习框架实现并训练了基于强化学习的视频描述生成模型。通过在MSVD数据集的测试实验,在BLEU-4、METEOR、CIDEr等标准评价指标上的得分取得了进步,验证本文提出的基于强化学习的视频描述生成模型在特征提取能力和自然系上都有很大的提升,最终呈现的视频描述也具有更好的精确度和自然性。
其他文献
《俄狄浦斯王》是一部典型的命运悲剧,取材于古希腊神话中俄狄浦斯弑父娶母的故事,主人公俄狄浦斯的命运在出生之前便已被谱写,他终其一生努力抗争,最终也未能逃离悲剧的宿命。该剧的戏剧冲突主要来自两方面的推动力:一方面,古希腊人认为命运是神明赋予的,具有神秘性与不可违抗性,是无法通过人的努力而改变的;而另一方面,逐渐滋生的反抗意识与理性精神使得古希腊人不再被动徒然地接受命运的安排,而是勇敢地与之斗争。《俄
<正>训练内容大自然是一幅瑰丽壮美的图画,今天,请围绕自己游览过或了解到的一处自然景观,写一篇习作。可以写著名的旅游景点,也可以写身边的景物。通过你的习作,让读者想象出画面,感受到大自然的奇妙。
期刊
2020年突发的新冠肺炎疫情极大地考验了各类企业在动态环境下的生存能力。企业必须不断创新想法以获得长期竞争优势。而团队作为企业创新能力的载体,团队创造力是组织生存和创造价值的关键。对于团队创造力而言,团队的领导风格是重要的影响因素,创业型领导能够在不断变化的环境中识别和把握创新创业机会,是在充满挑战和竞争的环境中所必需的一种新型的领导行为。在创新的过程中,失败是一种普遍现象,如何让创新失败成为团队
进入新时代,我国提倡以创新探寻新的经济增长点,加速经济发展方式的转变,在发展中保护和改善环境,实现经济高质量发展。伴随着工业发展、农业生产和城市化进程中带来的集中环境问题,绿色发展被纳入现代经济发展体系,并作为引领经济高质量发展、解决环境污染问题的重要途径。化工行业资金技术密集、体量庞大、价值链长,是我国国民经济发展的基础。同时,由于其生产工艺复杂、产污环节多、污染排放量大、回收处理难度大等问题,
2004年国家教育部为了满足海外汉语学习的需求,缓解国外汉语师资短缺的状况,正式设立汉语教师志愿者(以下简称志愿者)项目。通过海外志愿服务工作,年轻的志愿者们得到了锻炼,不仅提高了教学能力、外语水平,还开拓了国际视野。但志愿者在任期结束回国就业时也面临着困境与挑战。基于此,本文将对赴俄语国家的志愿者归国就业情况进行调查分析,发现志愿者经历对归国志愿者在就业时的影响,并依据调查数据分析影响产生的原因
<正>目的评估完成标准化屋尘螨变应原免疫治疗(SIT)3年疗程后对过敏性哮喘儿童气道高反应性的影响。方法以中山市博爱医院30例完成3年标准化屋尘螨SIT的过敏性哮喘儿童为研究对象,其中男22例,女8例,年龄6-14岁。治疗前和治疗3年后分别进行组胺支气管激发试验测定气道高反应性。选择年龄、性别相仿的30例同期在本中心的过敏性哮喘儿童为对照组。选择30例年龄、性别和居住区域相仿,同期在本专科门诊治疗
会议
劳动精神体现着时代精神和民族精神的内涵,新时代是不断努力奋斗的时代,实现社会主义现代化建设需要强化劳动教育,厚植劳动精神。习近平总书记曾在多次讲话中提到要在学生中弘扬劳动精神,中央电视台也播出了《大地情书》等体现劳动精神的精彩纪录片,这体现了党和国家对于劳动精神的重视。大学生是未来社会发展的主要力量,他们正处在思想形成和三观养成的关键时期,应该加以正确的引导。加强对大学生劳动精神的培养,不但能够实
目的:在欧美等先进国家,子宫内膜癌是女性生殖系统的第一大恶性肿瘤,也是中国继子宫颈癌后的第二大生殖系统恶性肿瘤。目前,外科手术治疗是最佳的治疗手段,主要包括微创腹腔镜手术和开腹手术。本研究通过回顾性分析2009年至2018年广州医科大学附属第一医院子宫内膜样腺癌患者行腹腔镜手术和开腹手术的临床资料,探讨腹腔镜手术与开腹手术治疗子宫内膜癌的差异及疗效。方法:收集2009年至2018年广州医科大学附属