基于深度学习的注意力机制的算法改进研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:BIGSKYKING
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机算力的提升和人工智能技术的快速发展,基于深度学习的算法被广泛应用在各种计算机视觉任务中,其中,多种基于卷积神经网络搭建的深度学习模型被相继提出,它们极大地推动了图像分类和目标检测等计算机视觉任务的发展。但是通过增加网络深度和设计更加复杂的网络模型来提升网络性能,往往是不可取的,尤其对于资源有限的移动设备和嵌入式设备。因此,设计高效的卷积神经网络模块来提高卷积神经网络对特征的提取能力是深度学习领域的迫切要求。其中,注意力机制就是一种高效的卷积神经网络模块,被应用到计算机视觉中的图像分类、目标检测和语义分割等任务中。本文从基于深度学习的注意力机制算法出发,以提高计算机视觉中图像分类和目标检测精度为目标,提出一种具有全局感受野的交换注意力机制,在增加少量参数量的情况下,提升图像分类和目标检测的精度。此外,本文在交换注意力的基础上提出了一种更适合移动设备和嵌入式设备的轻量交换注意力机制。本文主要研究内容和创新点如下:1、针对通道注意力忽略了空间信息,空间注意力通过池化层压缩通道维度后使用更大的卷积核来获得的仅是局部空间注意力的问题,本文提出了一种具有全局感受野的交换注意力机制。该方法首先通过在通道注意力中嵌入空间信息,然后交换通道维度和特征维度,使得卷积运算具有全局感受野。因此,在交换注意力中,生成的注意力权重可以从全局感受野上对局部特征进行重要性判断,从而卷积神经网络能更好地区分不同通道特征和不同空间特征的重要程度,增强有用特征的学习,抑制无用特征的学习,提升卷积神经网络的特征提取能力。2、将交换注意力嵌入图像分类网络模型中来提升图像分类网络的精度。本文将交换注意力嵌入Mobile Net V2、Resnet50、Shuffle Net V2网络结构中,在增加少量参数量的情况下,提升图像分类网络的性能。在Cifar10、Cifar100和Image Net数据集上验证交换注意力机制的有效性。3、将交换注意力嵌入目标检测网络模型中来提升目标检测网络的精度。本文将交换注意力嵌入SSD网络结构中,在增加少量参数量的情况下,提升目标检测网络的性能。在PASCAL VOC 0712数据集上验证交换注意力机制的有效性。4、针对资源有限的移动设备和嵌入式设备,本文在交换注意力机制的基础上进行优化,提出了一种更适合移动设备和嵌入式设备的轻量交换注意力,进一步减少注意力机制带来的参数和计算量。在Cifar10数据集上验证轻量交换注意力机制的有效性,并且在NVIDIA Jetson Nano上验证轻量交换注意力的有效性和可行性。
其他文献
等离子体纳米颗粒作为一种特殊的纳米材料,有着良好的生物相容性与可调节的光学性能。借助其独特的局域表面等离子体共振(LSPR)效应,可以在暗场显微镜(DFM)中获取等离子体纳米颗粒的光散射信号,得到等离子体纳米颗粒共振散射成像。由于成像速度快且成像结果具有高信噪比,等离子体共振散射成像在分析检测和动态反应监控方面具有很强的优越性,在生物、化学和光子学领域具有广阔的发展前景。但是该成像技术仍存在一定的
学位
产教融合背景下,基于临床医生工作过程,从教学内容重构、模拟仿真教学、医教深度融合、评价机制改革等方面对诊断学实践教学进行有益探索,提升临床医学专业学生实践能力,为城乡基层医疗卫生机构培养高素质技能型专门人才打下基础。
期刊
近年来,随着深度学习技术的不断发展,人工智能的研究与应用也逐步渗入到了社会的各个领域。尤其在教育领域,目前面临着信息化和智能化的转型,因而探究人工智能技术在教育领域中的应用具有重要意义。智能提问是构建智能化教学环境的一个重要组成部分,它与教育学、计算机、心理学等众多学科有着密不可分的联系。在智能教学过程中,通过利用人工智能技术学习相关文本内容,自动提出有意义的问题,从而达到辅助教师授课以及提高学生
学位
甲状腺结节是成年人群体中最常见的内分泌疾病之一,结节存在恶性风险,可能会发生癌变,及时进行诊断治疗能够减轻患者痛苦。超声成像由于其便捷、廉价、对患者无损伤等特性被广泛应用于甲状腺结节诊断。医生在人工阅片进行甲状腺结节诊断时需要耗费大量的精力,并且具有一定的主观性,可能产生漏诊、误诊的现象。而利用计算机辅助诊断系统可以较为客观、定量地描述结节,减轻医生压力并减少误诊。医疗图像分割作为计算机辅助诊断中
学位
高接换种是将接穗嫁接在大树分枝上,利用大树原有的强大根系及树干的充足营养实现树冠快速建成和产量恢复的嫁接技术,是品种快速更新、提高经济效益的重要手段,并在全世界广泛应用。中国是柑橘的主要发源地,有4000多年的柑橘栽培历史和800多年的柑橘嫁接历史。近年来我国四川、重庆等柑橘产区采用高接换种的方式进行品种更新,但生产过程中大面积出现高接黄化现象,树冠建成慢、产量难以恢复,严重影响了当地柑橘产业升级
学位
集成学习算法和理论的研究,一直是人工智能领域研究的热点。集成学习算法通过融合多个基学习器,组成一个性能更优越的强学习器,泛化能力得到增强。而获得一个优秀的强学习器,首要问题是使参与集成的基学习器准确且多样。为了解决这个问题,经典的方法是通过对整体训练集进行多次采样生成多个采样集,训练这些采样集将得到多个准确且具有一定多样性的基学习器,但是由于每个采样集遵循整体训练集的大致分布,训练得到的基学习器的
学位
近年来在计算机视觉研究领域,行人重识别问题越来越引起学术界和工业界的广泛关注。其主要解决跨摄像机跨场景下的行人识别与检索,可看作是图像检索的子问题,能广泛运用于智慧城市、智能安防、刑侦等领域。同时行人重识别方法还能与人脸识别方法结合,互为补充。对不能获得清晰人脸图像的人员实现跨摄像机视角的识别与追踪,提升数据的时间与空间连续性。人脸识别与行人重识别本质上都是对图像特征的提取与表征,以及对特征的度量
学位
文本验证码是一种自动识别用户的工具。当用户访问网站、查找信息、下载网络资源时,会调用到不同种类的验证码进行验证,包括用户注册、频繁认证失败、同一个IP地址频繁下载资源等情况。使用文本验证码能有效区分机器和人,保护用户的个人隐私和网站的安全,防止他人编写程序盗取网络资源,提高真实用户对网络资源的实际利用率。随着深度学习技术应用到文本图像识别,越来越多地识别技术逐渐攻破文本验证码防御技术点,成功识别文
学位
随着医疗数据的急速增长,传统的搜索引擎已经不能够满足人们检索医疗信息的需求,当人们使用搜索引擎进行检索时,返回的往往是一些网页链接,这些信息通常杂乱无章,需要人为去筛选。此外,医学知识的复杂多样以及用户医疗知识的匮乏都使得检索变得非常困难。问答系统的诞生给问题的解决带来了契机。将问答系统应用于医疗咨询领域形成医疗导诊系统,可以快速了解用户意图,为用户提供高质量的导诊服务。传统的导诊系统都是基于规则
学位
古代文献记录了历史,是人类文明的财富。人们通过历史文献来了解和研究社会的历史发展。伴随数字化的发展,古籍数字化,即将实体纸质的古籍转换为数据,成为一种新兴的古籍保护手段。这种方式既提高传播的效率,又能保护原本,避免不必要的损坏。但古籍在长期的传递过程中,人为原因和自然原因导致不少古籍的文字出现破损和腐蚀。修复破损的文字是使这些文献能够被研究,学习和传播的先决条件。目前,传统的文字修复工作由研究人员
学位