基于深度学习的图像标题生成方法研究

来源 :山西大学 | 被引量 : 0次 | 上传用户:jijianbing520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在高速发展的当今社会,每日产生的数据量呈爆发式增长,我们已经全面进入大数据时代。而大量的数据也为人工智能相关技术的发展提供了宝贵的土壤和原料。从数据中发现和挖掘出其所蕴含的相关模式,并进行新任务的预测是人工智能的核心。而各种不同来源的数据,包括视频、音频、图像、文本等构成了庞大且复杂的多模态数据。如何充分利用这些繁复的多模态数据,并从中挖掘出有用的信息也是弱人工智能向强人工智能进化的必经之路。多模态数据的模式识别与关联关系挖掘也成为了众多研究机构和学者的研究课题,也是目前的研究热点之一,这一领域的进展对于直接推动人工智能的发展有重大的意义。
  而图像标题生成则是当前人工智能在大数据背景下聚焦多模态数据的典型问题。该问题涉及到的是图像和文本两个模态之间的数据,本章针对这个问题在如下两个方面进行了探索:
  1)构建一个完全基于CNN的深度学习模型来解决该问题。基于CNN的深度学习模型在图像处理的多个问题,如分类问题,识别问题上都取得了显著的成果,同时CNN也逐渐的被采用到自然语言处理的任务中来,包括文本分类、文本理解等任务,也达到了目前最优,所以自然而然的本章则考虑采用一个完整的基于CNN的模型来处理图像标题生成问题。
  2)我们将ConvLSTM网络单元引入到自己的模型中,这样该模型既可以较好的学习到图像数据空间特征的同时也能够进一步的把握住句子以及单词间彼此的依赖关系。本章将这不同的处理问题的方式都在公开数据集上进行了多次试验,并取得了较好的效果。
  3)在模型中引入对抗学习机制。通过将图像标题生成任务作为一个两阶段任务,第一阶段先得到较为粗糙的图像标题句子,第二阶段通过对抗学习,让第一阶段的结果更加的靠近真实的图像标题,来实现模型结果质量的提升。
  综上所述,图像标题生成问题是大数据人工智能时代一个典型的科学问题,将它应用于现实世界中的推荐系统、检索系统等存在的大量无监督数据的任务中,可以很好的提升各系统的运行效率,而且该技术也可以帮助盲人来识别存储设备中的图像,做到“看图说话”,这些都说明该问题的研究和发展对于惠及人们的生活有重大的意义。
其他文献
党的十八大报告提出了“全面建成小康社会,残疾人一个也不能少”的明确要求,党的十九大报告以“大道之行,天下为公”收篇,其中重点强调“必须坚持以人民为中心的发展思想,不断促进人的全面发展、全体人民共同富裕”、“永远把人民对美好生活的向往作为奋斗目标”,残疾人事业、权益保障和生活状况自改革开放以来得到显著提升,残疾人服务也越来越多元。国家在飞速发展,社会转型和经济转轨的同时也出现了新的社会挑战,正影响着
目的探讨体位和呼吸运动对于椎静脉血流动力学的影响。方法 50例健康志愿者分别取坐位和仰卧位,超声观测椎静脉在平静呼吸、深吸气末和深呼气末时的血流动力学变化。结果卧位,平静呼吸时椎静脉的横截面积为0.04±0.02 cm~2,血流速度19.25±8.88 cm/s,血流量为47.26±25.40 ml/min,占脑血流总量的百分比为4.17%,深吸气末椎静脉的血流速度和血流量显著下降。坐位,平静呼吸
纯电动汽车可实现真正的清洁无污染排放,是未来交通运输的发展目标。纯电动汽车的复合能量源由蓄电池和超级电容组成,高比能量的蓄电池作为动力电池通过双向直流变换器建立母线电压,提供母线稳态低频功率,高比功率的超级电容通过双向直流变换器连接直流母线提供瞬态高频功率。复合能量源协同工作,为直流母线提供所需的双向功率。因此研究高效宽增益的双向直流变换器以及复合能量源系统协同运行的控制策略对电动汽车的快速发展、
现阶段,高温超导磁悬浮成为了轨道交通研究的新方向。高温超导体具有的迈斯纳效应和钉轧效应为车辆提供了悬浮、导向作用,省掉了复杂的控制系统。传统高温超导磁悬浮轨道交通系统轨道的铺设均采用永磁体,局限了高温超导磁悬浮轨道交通的大规模工业化应用。从长远角度看,由电磁体构造高温超导磁悬浮交通系统的轨道具有诸多优势。本论文通过系统对比的方法研究永磁轨道和电磁轨道特点,比较其各自的优点和不足,掌握电磁轨道的内在
学位
目的弓形虫(Taxoplasma gandii)是一种世界性分布的人兽共患弓形虫病病原,可自然感染人和羊、猪、牛、马、狗、猫等多种动物。弓形虫主要侵害幼畜,羔羊发病后表现为免疫力低下、生长缓慢、消瘦、贫血以及呼吸和神经系统症状,严重时可引起死亡,怀孕母羊感染后常因广泛病变而导致流产、不孕、死胎、造成繁殖障碍。通常情况下,免疫功能正常的人感染并不引起明显的临床症状,但当机体免疫功能受损或受到抑制时可
激光二级管(LD)及其列阵(LDA)泵浦的固体激光器(DPSL)具有高效率、紧凑、稳定、长寿命和光束质量高等优点,在军事上、工业、医学和科研究上有着广阔的应用明景,它的研究已成为洲光器件领域内的一个非常活跃的方向.研究人员利用国家教育部回国留学人员资助基金和山东省教委二标项目基金,研制成功了LD泵浦的3.22W Nd:YVO1.34μm激光器.该论文从理论方面研究了LD端面泵浦的固体激光器阈值泵浦
大气颗粒物采样器是《全面禁止核试验条约》中放射性核素监测的关键设备。作为条约规定的职能之一,放射性核素实验室应具备大气放射性颗粒物样品的采集和分析能力,因此所安装的采样器应满足条约对国际监测系统中大气颗粒物采样器的相关要求。结合实验室实际情况,成功研制了 PMS-800大气颗粒物采样器。该采样器具有稳流采样功能,在颗粒物浓度较大时可以延长采样时间。测试表明,PMS-800大气颗粒物采样器最大流量达
[db:内容简介]
反应堆、后处理工厂等核设施产生放射性气溶胶,通常用高效过滤器过滤,达可排放标准后排放到环境大气中。理论认为微粒通过惯性碰撞、扩散、重力沉积和静电吸附等机制被捕获到滤材上。国内外对高效过滤器进行了长期研究,认为对不同粒径的粒子有不同的过滤效率,随粒径的增加,过滤效率呈山谷形分布,最易透过滤材的粒子粒径为0.2-0.3微米。对该粒径,多级高效过滤器的每
It(o)型微分方程被广泛用于描述存在结构突变和随机干扰的实际系统,这类系统被称为It(o)型Markov跳跃系统。由于这类系统可以很好地刻画实际系统存在的结构突变和外部干扰,因此在理论和工程中都有很强的研究价值。在研究It(o)型Markov跳跃系统的线性二次型最优控制时,耦合Riccati矩阵方程有着重要的作用。由于耦合Riccati矩阵方程存在结构非线性,因此这类方程的求解存在一定难度,也一