基于注意力机制的图像描述方法研究

来源 :广西大学 | 被引量 : 0次 | 上传用户:gy13006467077
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着高性能计算机硬件的出现,深度学习技术发展快速。日益成型的万物互联世界产生了如洪流般的数据量,面对呈指数级增长的图像数据量,如何让计算机代替人力高效理解图像内容已成为研究热点之一。图像描述是对图像内容信息进行检测、识别,不仅要感知场景类型,而且还要鉴别对象属性及其关系,最终目标是生成能够合理描述图像内容的自然语言。作为自然语言处理和计算机视觉两大领域交叉的关键任务之一,图像描述不仅具有研究价值,还具有实用价值,结合深度学习技术已成为解决该任务的主流方法,虽然屡次取得突破性进展,但是仍然存在生成的结果对图像细节表述不清晰、与人类理解存在偏差的问题。研究深度学习框架下的图像描述模型,主要工作如下:(1)提出一种基于注意力特征自适应校正的图像描述模型。新模型在图像特征融合注意力机制的基础上,构建一个通道激活层,通过全面捕获通道之间依赖关系,进行注意力特征自适应校正,提高特征表示能力,进而提升由长短期记忆网络生成的图像描述语句质量。在MS COCO,Flickr8k,Flickr30k三个数据集上对模型进行对比实验,实验结果表明,提出的模型在MS COCO数据集上的BLEU_1,BLEU_2,BLEU_3,BLEU_4,METEOR,CIDEr得分分别可达到69.4%、52.3%、38.6%、28.5%、23.3%和83.6%,优于传统神经网络图像描述模型,能够生成更准确的图像描述。(2)在已有研究工作基础上,实现面向中文的图像描述任务,并对图像描述模型进行优化改进。针对单向长短期记忆网络只考虑上文信息的不足,提出采用双向长短期记忆网络作为图像描述模型的语言生成网络,利用其能够同时考虑上文和下文信息的特点,提高生成的图像描述语句质量。同时,在建立不同大小的中文词汇表阶段,提出一种分词的加速方法,采用Cython实现分词技术三个核心算法的方法进行分词加速。在ICC中文图像描述数据集上对模型进行对比实验,实验结果表明,提出的分词加速方法能够提高63.9%的分词速度,词汇表大小为8000的图像描述模型性能最佳,采用双向长短期记忆网络能够提高图像描述模型的性能。
其他文献
随着信息技术的发展,社交媒体用户表达的方式日益多元。用户运用文本、图像、视频等多种模态内容来进行表达的方式已然成为一种常态。多模态数据在社交网络内容数据中大量存在。随着社交媒体用户群体不断扩大,社交网络上的多模态数据飞速增长。在这海量的多模态数据中,蕴含着用户所表达的情感信息。对这些社交媒体多模态数据的情感分析对意见挖掘、政策分析以及股市预测等方面都有着重要的意义。本文针对社交媒体中大量存在的图文
学位
目的 观察加减旋覆代赭汤联合屈螺酮炔雌醇片治疗痰湿阻滞型多囊卵巢综合征(PCOS)的疗效。方法 选取2020年11月28日—2021年10月21日黑龙江省中医医院南岗分院收治的痰湿阻滞型PCOS患者60例,根据随机数字表法分为观察组和对照组,各30例。对照组给予屈螺酮炔雌醇片治疗,观察组在对照组基础上加用加减旋覆代赭汤治疗。21 d为1个周期,2组均治疗3个周期。比较2组治疗前后中医证候积分、性激
期刊
目的 观察左炔诺孕酮宫内缓释系统及屈螺酮炔雌醇片在宫腔镜子宫内膜息肉切除术后的治疗效果。方法 选取我院2018年1月至2022年1月82例行宫腔镜子宫内膜息肉切除术患者为本次研究对象,按照双色球随机分组法将患者分为2组,对照组(41例:屈螺酮炔雌醇片治疗)与观察组(41例:左炔诺孕酮宫内缓释系统治疗),比较2组患者治疗前后相关生殖激素指标、血常规指标以及总有效率、不良反应发生情况。结果 观察组治疗
期刊
文章基于2020年版《中国药典》第四部通则1105、1106对泌尿宁胶囊的微生物限度检查方法进行研究,对泌尿宁胶囊采用增加1∶100稀释液法开展其需氧菌总数方法适用性试验,利用1:10平皿法对霉菌和酵母菌总数计数方法进行适用性检测,结果显示实验组和菌液对照组的回收率为0.5~2。在常规法进行控制菌(主要为大肠埃希和沙门沙门氏菌)检查方法适用性试验中,试验组和阳性对照组均检出了阳性菌,也就是说,此方
期刊
目的:观察榆栀止血颗粒联合去氧孕烯炔雌醇片治疗青春期排卵障碍性异常子宫出血(AUB-O)的效果。方法:90例随机分为对照组和观察组各45例。两组均予去氧孕烯炔雌醇片治疗,观察组加用榆栀止血颗粒。结果:中医证候积分观察组低于对照组(P<0.05),E2、LH、FSH水平观察组低于对照组(P<0.05),完全止血时间观察组短于对照组(P<0.05),观察组总有效率高于对照组(P<0.05),两组不良反
期刊
在我国古代,就有“医酒同源”“药酒同源”的说法。从古至今酒与中医药一脉相通、相辅相成,两者之间存在着千丝万缕的联系。“酒为百药之长”,酒在疾病预防、医疗卫生和养生保健等方面具有独特的功用。文章梳理了酒与中医药的深厚历史渊源,从酒与中药炮制、酒与中药制剂、酒与中医养生文化等方面分析了中医药对酒的认识和酒在中医药中的应用。中医药文化与中国酒文化,相互影响与促进,齐驱并进,共同成为中华优秀传统文化的重要
期刊
<正>人工流产术是非意愿妊娠女性终止妊娠的一种常用有效术式,该术式会在不同程度上损伤子宫内膜基底生理结构,术后可诱发产妇应激炎症反应,引起不同程度的并发症,包括阴道持续性出血、盆腔感染、月经紊乱等,
期刊
目的 观察屈螺酮炔雌醇片(Ⅱ)联合二甲双胍治疗多囊卵巢综合征伴糖脂代谢紊乱的疗效。方法选取2019年6月—2022年5月南安市中医院收治的多囊卵巢综合征伴糖脂代谢紊乱患者50例作为观察对象,按照双盲法将其随机分为A组(n=25)与B组(n=25)。A组给予屈螺酮炔雌醇片(Ⅱ),B组在A组治疗基础上给予盐酸二甲双胍片。2组均连续治疗3个周期。比较2组临床疗效,治疗前后糖代谢情况(空腹血糖、空腹胰岛素
期刊
目的 探究屈螺酮炔雌醇片与左炔诺孕酮宫内节育系统联合治疗子宫内膜增生不伴非典型增生的效果。方法 100例子宫内膜增生不伴非典型增生患者作为研究对象,按照电脑随机法分为观察组和对照组,每组50例。对照组采用左炔诺孕酮宫内节育系统治疗,观察组在对照组基础上加用屈螺酮炔雌醇片治疗。对比两组治疗前后子宫内膜厚度、月经周期以及月经期,不良反应发生情况,治疗前后卵巢储备功能指标[窦卵泡计数(AFC)、卵泡刺激
期刊
目的:观察八珍益母丸联合去氧孕烯炔雌醇片治疗人流术后月经量少气血两虚型的临床效果。方法:110例随机分为对照组和研究组各55例。两组均用去氧孕烯炔雌醇片,研究组加用八珍益母丸。结果:总有效率研究组高于对照组(P<0.05)。治疗后两组各项证候积分均降低,且研究组低于对照组,差异有统计学意义(P<0.05)。治疗后两组积分均降低,且研究组低于对照组,差异有统计学意义(P<0.05)。治疗后两组月经周
期刊