基于深度学习的图像描述研究

来源 :西安邮电大学 | 被引量 : 0次 | 上传用户:luanwf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在机器翻译任务提出之后,深度学习技术在解决此任务的基础上又取得了各项突破性进展,研究者们针对不同的应用场景实现了各种各样的应用,人工智能也逐渐地由感知智能偏向于认知智能,图像描述就是其中之一。图像描述的目的是针对图片中各种对象及其关系,自动生成一段话来描述,可以用看图说话来理解。它融合了图片和文本两种模态的信息,在生活中很多场景下都能用到。经典的神经网络不能提取更为全面的图像特征,无法准确获取图像中的关键语义信息,从而使得生成的描述与实际内容具有一定程度的偏差。为了解决上述问题,本文提出一种基于Bi-GRU与Attention混合模型的图像语义描述方法。传统网络生成描述的多样性低,与人们语言习惯有差距的问题。为了解决上述问题,本文提出了一种新的基于Transformer的结构,并引入一种自适应的标签平滑方法。本文主要工作内容如下:(1)分别研究图像内容识别相关技术、文本特征提取和生成技术以及二者的特征融合技术,学习各种技术近几年的主流框架,各个阶段做出的改进,深入理解其中原理。然后在图像描述这一主题之下有针对性的分析理解经典模型与框架,深入理解端到端的训练方法以及任务的模型评估方法,为任务的开展做好充分的理论准备。(2)提出一种基于Bi-GRU与Attention的混合模型,在编码器方面,通过引入通道注意力机制获取每个特征通道的重要性,让神经网络重点关注权值较大的通道。在解码器方面,通过双向门控循环单元生成能够反映图像内容的语义信息,并在Bi-GRU之后加入自注意力机制,进一步将注意力集中在更重要的信息上,最后通过Attention融合两部分信息生成最终描述。在MSCOCO、Flicker8k和Flicker30k三个公开数据集上验证实验结果,并通过与其他模型的具体实验结果做对比反映出模型的性能。(3)提出了一种新的基于Transformer的结构,通过残差神经网络提取图像特征。在解码器方面,将单词嵌入特征与正弦位置嵌入相结合,并将提取结果和编码器输出特征结合作为输入。另外,引入了一种新的辅助解码器模块(Auxiliary deco der,AUD)和一种自适应的标签平滑(Ada-Label)方法,用于在每个训练步骤中为非目标字生成监控信号,并结合提高生成描述的多样性。使用Bangla Lekha Image Captions数据集并对比以往经典模型验证本方法有效性。
其他文献
目的:通过比较单纯应用西药与麻附温痹汤联合西药对寒湿痹阻型类风湿关节炎的临床疗效,探讨麻附温痹汤联合西药治疗寒湿痹阻型类风湿关节炎的有效性。方法:本课题将2021年03月至2022年03月期间就诊于黑龙江省中医医院风湿病科门诊的60例符合诊断标准的患者,随机分为西药组30例与联合组30例。西药组给予口服来氟米特片10mg/次,每天一次;洛索洛芬钠片60mg/次,每天三次;联合组则在西药组基础上给予
学位
目的:观察和评价以从骶尾部入路部分內括约肌栉膜带松解术联合自拟通便饮治疗女性出口梗阻型便秘的疗效。方法:选取2021年3月至2022年3月间,于黑龙江省中医药科学院肛肠科门诊就医并收入院住院手术治疗的80名符合本次研究标准的确诊为出口梗阻性便秘的女性患者,按就诊先后顺序,采用随机原则分成治疗组、对照组,各纳入40人。治疗组以从骶尾部入路部分內括约肌栉膜带松解术手术联合术后口服自拟通便饮治疗,对照组
学位
5G多波束天线相比4G单波束天线覆盖能力强,会造成同等站址规模下5G重叠覆盖比4G严重。而5G服务小区和邻小区广播波束信号强度测量值计算方式的不同,会缩小两者数值上的差异,进一步表现为5G重叠覆盖严重。本文对5G重叠覆盖度指标的意义和定义进行了分析,在现阶段只能沿用4G重叠覆盖度指标定义,对其中门限值给出了修正建议,另外对5G高重叠覆盖场景优化进行了探讨。
期刊
目的:评价半夏泻心汤加味联合强脉冲光治疗上热下寒型玫瑰痤疮的临床疗效和安全性。方法:本研究将80例符合标准的玫瑰痤疮患者按照随机数字表法分为治疗组和对照组,两组各40例。对照组予以口服半夏泻心汤加味治疗,每日一剂,早晚温服,治疗组在对照组的基础上联合强脉冲光治疗,1次/3周,两组疗程均为9周。分别记录治疗前、治疗3周末、6周末、9周末的主观症状积分、皮损积分、皮肤病生活质量评分(DLQI),进行疗
学位
目的:本文运用Meta分析对中医药治疗子宫肌瘤的有效性、安全性进行客观评价;通过频数分析、关联规则分析和聚类分析,对中医药治疗子宫肌瘤的用药规律进行总结,以期为临床治疗该病提供有价值的参考。方法:Meta分析方面,从中国知网(CNKI)、维普(VIP)、万方(Wan Fang)、中国生物医学文献数据库(CBM)、Pub Med、Embase、The Cochrane library数据库中,检索2
学位
目的:对中药治疗成人特发性膜性肾病的临床研究进行meta分析,评估中药的有效性及安全性,为特发性膜性肾病患者的治疗提供循证医学依据。方法:利用计算机检索方式在知网、万方、维普、CBM、Pubmed、The Cochrane Library数据库中检索有关中药治疗成人特发性膜性肾病的随机对照试验,检索时间段设置为:从建库日期截至2021年12月31日。将检索到的文献导入Note Express3.5
学位
目的:本研究以《雷公炮炙论》为依据,以现代炮制理论为基础,基于百合制桔梗炮制过程中微生物种群及丰度的变化规律并结合桔梗炮制前后的主要成分的含量变化,探讨百合制桔梗的炮制原理;并基于肠道菌群-炎症因子的调控作用考察百合制桔梗饮片对慢性支气管炎模型大鼠的的影响,为扩大桔梗炮制品的种类及临床应用提供参考。方法:1.百合制桔梗炮制品的制备:采用《雷公炮炙论》所述百合制桔梗的炮制方法并根据现代炮制方法进行改
学位
目的:比较超级微波消解-电感耦合等离子体质谱法(Inductively Coupled Plasma Mass Spectrometry,ICP-MS)和测汞仪法测定水产品中总汞(Hg)含量的区别。方法:ICP-MS法采用超级微波进行消解,测汞仪法无需消解前处理,直接进样测定,两种方法均用外标法定量。结果:在实验的最终测定条件下,ICP-MS测定的汞元素在0~2.0μg·L-1线性关系良好,相关系
期刊
由于大规模阵列天线和波束赋形等新技术的应用,5G网络在覆盖能力、性能要求和应用场景等方面相对于4G存在明显差异,传统的4G重叠覆盖标准已经不再适用。本文基于实际测试结果,分析了5G重叠覆盖对用户感知的影响,并针对用户感知提出了基于速率损失的5G重叠覆盖标准,以及基于感知速率和电平区间的5G重叠覆盖标准。根据5G网络的现状和发展情况,可选择合适的5G重叠覆盖标准指导结构优化工作。
期刊
报纸