基于深度学习的图像密集字幕描述生成研究

来源 :燕山大学 | 被引量 : 0次 | 上传用户:guigui1998
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像的密集字幕生成是图像理解领域的一个较为新颖的研究任务。随着5G时代的到来,每天都会产生海量的视频和图像,单靠人工标注的方法已经无法对这些数据进行有效的整理、归纳和总结。而图像密集字幕生成任务可以在一定程度上解决这个问题,它可以使计算机模仿人类大脑对图像进行自然语言描述。本文对如何有效的进行图像的密集字幕描述进行研究。首先,为了使模型可以从图像中提取更优质的特征,本文提出了一种基于深层特征提取网络的图像密集语义标注算法。本文模型主要分为三部分,第一部分是特征提取网络;第二部分是感兴趣区域标注网络;第三部分是描述生成网络。在特征提取网络中,本文使用深度残差网络进行图像特征提取,从而有效提高实验结果。其次,图像密集字幕描述算法实现的目标是从图像中检测出大部分的视觉概念,并使用简短的描述性短语标记每个概念。在以前的算法中,模型关注的仅仅是图像中感兴趣的区域,忽略了图像中不同目标之间的联系。因此,本文提出一种基于注意力的图像密集字幕生成算法。该算法模仿的是人类视觉所特有的大脑信号处理机制。本文核心目标也是从众多信息中选择出对当前任务目标更关键的信息,将两者结合,进而优化模型。最后,本文提出基于上下文特征和全局特征的密集字幕描述算法。该算法设计了一种并联的LSTM(Long Short Term Memory)网络,在对目标特征进行描述时,融合了图像的上下文信息和全局信息。本文所提出的算法更好的结合图像中所包含的语义信息,让模型在生成不同目标描述的同时,借助于整张图片来生成局部描述,这样形成的语言描述更加符合人们的语言习惯。
其他文献
目的借助生物信息学和网络药理学技术,构建荣筋拈痛方对骨关节炎软骨退变的靶点网络,阐述荣筋拈痛方调节骨关节炎软骨退变的可能作用途径;根据前述结果,确定有效通路用于后续骨关节炎的动物和细胞实验,为荣筋拈痛方的临床应用提供实验依据。方法1.检索TCMSP、BATMAN-TCM、ETCM数据库,收集荣筋拈痛方中药化合物结合靶点。通过GEO数据库检索出骨关节炎大鼠软骨的芯片数据集,R语言分析出差异表达基因,
学位
<正>几个月前,一款人工智能机器人ChatGPT横空出世,成为大家茶余饭后的热点话题。然而,大家对ChatGPT的热情和好奇还未减退,多模态大模型GPT-4已经震撼登场了!正在奋笔疾书的小编直呼:“人工智能界的热点永远追不上!”ChatGPT是在GPT-3.5系列的基础上调优而来;与ChatGPT相比,GPT-4更加成熟,功能更加强大。
期刊
<正>本设计针对小班幼儿的经验和兴趣出发,节选了莫扎特《小星星变奏曲》开展了打击乐活动。主要采用行动研究的方法对在奥尔夫音乐教育理念下的打击乐活动设计进行尝试,探索打击乐活动的开展方式,继而对实践尝试进行反思和总结。笔者通过中国知网,中国期刊全文数据库,维普中文科技期刊数据库等文献库,查阅了"奥尔夫音乐教育"、"幼儿园打击乐活动"等相关文献资料共四十余篇,现作如下综述。一、关于奥尔夫音乐教育理念的
期刊
细菌感染无疑是人类健康面临的最大威胁之一,然而,人类对抗生素滥用造成了多重耐药菌的不断出现和迅速蔓延,若任其发展人类社会将会陷入无药可用的地步。因此,开发无抗生素策略的新型抗菌剂具有重要意义。受益于生物医药及纳米技术的蓬勃发展,物理接触型、光热治疗型、免疫治疗型和活性氧响应型等具有不同机制的新型纳米抗菌剂先后被科研工作者们开发出来。其中,利用ROS的高反应活性,通过氧化病原菌的脂质,DNA及蛋白质
学位
“中华文明源远流长、博大精深,是中华民族独特的精神标识,是当代中国文化的根基,是维系全世界华人的精神纽带,也是中国文化创新的宝藏。”党的十八大以来,习近平总书记反复强调“要系统梳理传统文化资源”,“让收藏在博物馆里的文物、陈列在广阔大地上的遗产、书写在古籍里的文字都活起来”。布达拉宫作为世界文化遗产,所珍藏的数十万件的文物,具有级别高、种类多、年代久、品质精等特色,其中馆藏文献浩如烟海,保存着汉、
学位
安全性问题是制约锂离子电池在电动汽车、储能电站等新能源领域应用的主要技术障碍,因此,开发电池自激发热保护技术对于提高锂离子电池的本征安全性、促进相关技术领域的发展具有重要意义。我们的前期工作证实,基于导电聚合物PTC材料的温度敏感电极可以有效切断危险温度下电极上的电子传输,关闭电极反应,从而避免电池进入自加热的热失控状态。然而,作为一种新型的PTC材料,导电聚合物的温度响应机理至今并不清楚,由此给
学位
<正>随着教育事业的发展,各类教育理念纷纷涌现,“和美”育人理念就是其中之一。芙蓉小学秉承先贤之善、借“荷花”之美提出了“和美育人”的全新育人理念。“和美”的落地为学校教育注入了全新的活力与朝气,在各级政府和专家的共同推动下,经过全体教师积极践行、反复研究,最终确定了“和美”育人理念在教育事业中发挥的正向作用。教师只有秉持“和美”的育人理念,将其持续融入课堂教学和班级文化建设中,才可以释放出“和美
期刊
苏云金芽胞杆菌(Bacillus thuringiensis,Bt)是一种重要的昆虫病原细菌,在形成芽胞的同时产生杀虫晶体蛋白(ICPs)。Bt制剂具备靶标特异性强、环境友好等特点,已发展成为目前世界上产量最大、使用面积最广的农林业微生物杀虫剂。但是Bt制剂存在一些不足,如杀虫效果较慢,毒力有限,昆虫易产生抗性等,需不断选育新的Bt菌株或在现有菌株的基础上进行遗传改造,获得高毒力、性状优良的Bt菌
学位
三维点云数据理解作为计算机视觉重要的一个分支,在智慧医疗、智慧城市和自动驾驶等领域都起着举足轻重的作用。然而,由于三维点云结构具有特殊性,使得传统的用于二维图像处理的深度学习技术不再适用。本课题围绕三维点云数据语义分割问题,以残差网络为基础,对三维点云数据的参数化卷积设计、深度学习网络结构设计与网络结构轻量化设计问题进行研究,具体内容如下:首先,针对现有参数化卷积普遍存在特征提取能力不足、鲁棒性差
学位
溴虫氟苯双酰胺系近年来颇受关注的一款新型双酰胺类杀虫剂。脱甲基溴虫氟苯双酰胺是其代谢产物,可作为一种非竞争性的抗狄氏剂(RDL)γ-氨基丁酸(GABA)受体拮抗剂,对害虫具有显著的防治效果。其杀虫机制的独特性,使其对普通害虫具有防治活性外,还可有效地防治对传统非竞争性拮抗剂产生抗性的害虫,是一款防治活性高,防治对象广,害虫抗性治理潜力大的理想杀虫剂。本文提出了一条步骤简短、收率高的溴虫氟苯双酰胺合
学位