面向自然语言理解的图像语义分析方法研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:eimayao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自动生成图像描述连接了计算机视觉和自然语言处理两个领域,一直以来,都是图像理解、人工智能的长远目标。它不仅需要更深层的理解图像语义,还需要合理的生成自然语言来表达。近些年来,随着计算能力的提升、数据资源的丰富、深度学习的发展,该任务已经取得了巨大的进步,但仍然面临着许多未解决的问题和挑战。  本文全面研究了自动生成图像描述的相关问题,首先,说明了视觉和语言两个领域的相关技术,如深度学习、语言理解、多模态学习等。其次,详细的介绍了解决该任务的极具代表性的方法。再者,在基线模型的基础上,从两个不同的角度,对模型做了改进:第一,开发了一个深度双向门限循环单元图像描述模型,试图在解码阶段,全面挖掘文本描述更深层次的语义;第二,提出了双向引导图像描述生成模型,在图像编码阶段,加入文本信息引导图像过滤。在文本解码阶段,加入图像属性信息引导语言生成,使得模型能够更全面挖掘图像和文本的关键信息,削弱信息转换的不平衡影响。  最后,在公共评测集MSCOCO上,评估了改进的模型的性能,本文提出的方法无论使用通用的评价指标BLEU、METEOR等,还是使用其他人工评价指标,都比目前已有的相关工作有着较为显著的提高,有力验证了模型的有效性。
其他文献
学位
该论文以液压系统污染控制可视化计算和过滤器参数选择为主要研究内容.论文在基本液压污染控制方程的基础上建立了多污染源液压系统污染控制方程组,得出等效过滤比和等效污染
在销--盘式磨损试验机上对45钢和铜合金摩擦副进行磨损试验,按一定时间间隔收集磨损过程中积聚的金属磨粒,然后用显微镜对不同粒径范围内的金属磨粒进行计数和分形研究.研究
相对于普通高等教育院校而言,高职院校在培养学生的制作实践性和综合性都较之重视和突出。主要是针对学生的社会技能和运用方面,并结合教学课堂中的有关理论,从而为国家培养出技
该文开展了轿车车身产品建模技术的研究,其主要内容包括:1、该文深入研究了基于STEP的系统建模方法、车身开发的过程及特点并结合虚拟车身开发的要求完成了车身覆盖件产品开
学位
该文从零件资源的标准化、规范化、可共享和可重用的角度出发,对基于Internet的零件理论、方法及其关键技术进行了较为深入的研究.该文详细论述了零件库的意义、现状和发展趋
该文按照中国原煤炭部在"九.五"期间提出的重点科研攻关项目"煤矿锚杆支护"的要求,针对现行锚杆钻机在设计制造过程中存在的关键问题,进行理论探讨,试验实测以及在此基础上的
该文围绕港口起重机金属结构安全性这一问题,从常规安全性检测、评价和疲劳剩余寿命分析两方面进行了探讨和研究,并研制了相应的计算机软件.其一,通过起重机金属结构的强度、
该论文对汽车车身曲面造型计算机辅助设计的方法进行了探讨,并详细介绍了曲面造型的基本理论及应用,对工程设计中常遇到的几何设计问题,提出了处理方法. 并应用CAS设计技术,