【摘 要】
:
图像描述生成(Image Captioning)是计算机视觉领域的一个焦点问题,它要求计算机理解视觉数据的语义信息。此任务需要计算机先理解图像的内容,然后用一句简短的话概括出来,我
论文部分内容阅读
图像描述生成(Image Captioning)是计算机视觉领域的一个焦点问题,它要求计算机理解视觉数据的语义信息。此任务需要计算机先理解图像的内容,然后用一句简短的话概括出来,我们称这句话为图像的描述语句。它比图片分类等传统计算机视觉任务更具难度,是一个具有更高抽象度和复杂度的计算机视觉任务。图像分类等任务的标签过于粗糙,往往一整张图只选中心最明显的那个物体作为图像的标签,而其他信息都被忽略掉了。而图像描述生成任务的标签是包含图像中场景,物体交互等信息的语句,具有丰富的语义信息,更为具体的描述了图片的内容,从而使计算机的理解难度更大。多亏了近年来深度学习的大力发展,卷积神经网络的成功应用使得图片内容理解相关任务取得了极大的进步。通过卷积神经网络,图片可以被抽象为一些特征矩阵或者特征向量,图像所包含的原始信息也会极大程度的保留在这些矩阵或者向量中。这些抽象程度更高的特征可以捕捉到更多图像中那些与图像标签相关的内容。所以在图像描述生成任务中,为了使计算机先理解图像的内容,研究者们往往会采用卷积神经网络提炼图像中包含的信息。在提炼图像内容的基础上,还需要生成语句描述。这就要依靠具有强大文本生成能力的长短期记忆网络了,它可以根据抽象的图像特征,序列化地生成内容相关的描述语句,就将捕捉到的语义信息用我们能够理解的方式表达了出来。这就是图像描述生成领域最常用的编码-解码模型。尽管最近的编码-解码模型已经达到了令人满意的性能,但是它们仅利用来自标准数据集的数据。除开标准数据集,互联网上仍然有大量的没有标注的数据无法被充分利用。在本文中,我提出了一种使用外部图像和文本来增强图像描述生成模型性能的新颖方法。本文的方法可以分别利用从互联网上抓取的图像数据和文本数据来提升受限于标准数据集的算法性能。本文的方法可以将从网络数据中学到的知识迁移到标准数据集中。我在MS COCO和Flickr30K数据集进行了实验,结果证明了该方法的有效性。在这两个数据集上,与其他一些具有代表性的方法相比,评价指标得分有了较明显的提升。
其他文献
随着管理学界和实践界对企业社会责任的持续关注和研究,企业公益行为及其效应得到了更为深入的研究。以往的研究更关注企业公益行为对外部利益相关者—“消费者”所产生的积
本文基于债权人监管的视角,选取2007—2011年7124个样本,实证检验了银行债权人在公司治理中的作用。研究发现,银行债务契约在一定程度上能够发挥治理效应,约束经理人的自利行为。
近年来,由于对药品需求的增加,我国医药企业开始迎来了发展的时机,但是由于我国医药企业具有规模小,产业分散,缺乏研发资金等问题,发展受到了很大程度的限制。因此,国家呼吁医药企业通过并购整合实现发展,通过并购可以使医药企业实现规模效应和资源互补,加快他们的研发和经营能力。FX集团响应政府号召,通过一系列大规模的并购实现发展,从一个小规模产业单一的医药企业发展壮大成为一个综合性全球化的医药集团。其过程和
本文研究了二溴羧基偶氮胂与Cr<sub>2</sub>O<sub>7</sub><sup>2-</sup>在硝酸介质中的褪色反应,实验结果表明,利用此褪色反应测定铬(Ⅵ),其灵敏度高,表观摩尔吸光系数达1.4
教学兴趣点设计是思想政治课教学的重要方法之一.教学兴趣点设计是通过在课堂上引入生动的教学素材和安排令人兴奋的教学环节,激活学生的听课状态和教师的教学状态,引发良性
趣缘群体在如今的网络空间中广泛分布,社群取代个人成为资源的节点和社会网络上的节点,它的文化传播过程不仅是向内集聚的过程,同时也是向外扩散和迁移的过程,在媒介文化社群
本文提出有色溶液对光新吸收公式——β指数公式,并通过对NH_3、S~(2-)、CN~-等8种成分比色分析,证明该吸收式拓宽了检测浓度范围,在任意波长下都有较高上限。操作简便。准确
顶岗实习是高职酒店管理专业教学中的重要一环,也是职业教育工学交替、校企结合特点的重要表现。实习质量直接影响酒店管理专业的人才培养质量和酒店行业的用工结构与人才储
本文介绍一种新近研究的生物样品消解法-快速高压罐消解法。它具有消解样品快速的特点,消解速度与微波法相当,此法在消解原理,设备结构等方面具有独自的特点。经过可靠性,适应性,安
助人为乐、扶困济危、见义勇为等都是中华民族几千年来传承的美德,也是当代中国值得弘扬的优秀品德,对于当今的法治建设具有十分重要的意义。但是,这种传统美德在今天的生长环境下却不容乐观,近些年来,社会中屡次出现救助人实施了救助行为,却因此承担各种法律责任的案例。救助行为无疑是做好事却不得好报,甚至承担法律责任以致利益受损,这是一种错误导向,无异于引导人们“事不关己高高挂起”,把做好人好事当作是“引火烧身