基于轻量化注意力机制的深度卷积神经网络方法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:udbnny
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,计算机视觉领域在深度学习的推动下快速发展,基础网络架构的研究以及模块化结构的设计成为提升任务性能的重要研究方向,注意力机制是其中重要一种,在图像分类、目标检测、图像分割等多项计算机视觉任务上都表现出了优异的性能。但是同时,注意力机制的应用也在原始的网络架构的基础上引入了大量的参数和计算量,因而降低了模型的推理效率。本文围绕注意力机制在计算机视觉领域的应用展开研究,探索注意力机制在计算机视觉任务表现优异的主导原因,并设计出更适用的模块,其主要工作和创新点如下。(1)本文提出了一种轻量化的通道注意力模块。现有的大部分应用于计算机视觉基础网络架构的注意力模块都存在结构精密,参数量和计算量大的问题,降低了模型的计算效率。本文提出的注意力方法在已有的注意力模块的基础上,研究了注意力机制在计算机视觉领域的应用中重要的影响因素,在通道级别采用1D卷积学习局部跨通道的相关性,从而生成注意力图。此外,该方法还提供了一种根据通道数自适应选择1D卷积核大小以更适当的调整局部感受野大小的参考准则。(2)本文提出了一种基于不确定性建模的通道注意力策略。利用注意力机制生成对应于特定特征图的注意力图依赖于特征图内部数据的相关性,然而几乎所有现有的注意力算法建模过程中都忽略了不确定性带来的影响,在一定程度上限制了注意力机制的泛化能力和稳定性。本文提出的方法通过建模通道之间的局部相关性学习各个通道的权重,并利用蒙特卡洛(Monte-Carlo,MC)Dropout近似的深度贝叶斯学习方法对局部通道注意力模块进行不确定性建模,提升了模型的泛化性和稳定性。本文提出的方法可以灵活地应用于各种深度卷积神经网络架构中,在Image Net-1K数据集上的图像分类任务以及MS COCO数据集上的目标检测和实例分割任务中均获得了优异的性能和更佳的稳定性和泛化能力。与同类型工作相比,更好地实现了模型复杂度与性能之间的权衡。
其他文献
时间序列预测是人们组织和利用信息的一种重要手段。预测可以提前获知事物在未来一段时间的发展趋势,并为之后的应用提供参考和指导。随着物联网时代的到来,在智慧交通、智能电网等代表性应用中,人们借助“物联网+”技术能够采集到大量数据,并通过分析数据来得到服务。深度学习方法能够由数据驱动来构建统计模型,并利用模型对数据进行分析。近几年,语言模型Transformer被很多工作迁移到时间序列预测任务中,并有着
学位
报纸
蛋白质的稳定供应是保障人民健康和国家安全的重要基础之一,作为传统农业种植生产模式的补充或彻底替代方案,微生物蛋白制造能够通过高时空生产效率、不依赖耕地的车间制造方式,生产供应蛋白质原料.本文描述了发展微生物蛋白的需求,综述了微生物蛋白制造的发展,介绍了主要的生产菌株,并以3种大宗原料类型食品工业与农业副产物、能源化工品、二氧化碳及其衍生富能化合物为主线,阐述了主要的微生物蛋白生产路线,分析了不同生
期刊
<正>安检法小区是沈阳市和平区南湖街道文安路社区所辖小区之一,始建于2000年,共有居民400余人。2006年,小区遭遇物业弃管,一时间,垃圾随便扔、东西随便放、外人随便进、车辆随便停,盗窃案时有发生,居民怨声载道……为了有效走出治理困境,文安路社区党委创新推出了“党建引领居民参与”的新模式,并通过17年不懈努力,成功破解了安检法小区治理难题,使这个无物业老旧小区重新焕发生机。
期刊
目的:探讨抗阻运动加速导管相关性血栓(CRT)溶解再通作用效果,为抗阻运动辅助治疗CRT提供理论依据。方法:144只SD雄性大鼠随机分为CRT对照组、CRT+抗阻运动组、CRT+血红素氧合酶-1(HO-1)激动剂钴原卟啉(COPP)组、CRT+HO-1抑制剂锡原卟啉(SnPP)组,每组36只。构建大鼠CRT模型,置管10天后进行抗阻运动、腹腔注射COPP及SnPP处理,CRT对照组不做处理。干预后
期刊
目的 探讨增强CT在儿童肾透明细胞肉瘤(CCSK)与肾母细胞瘤(WT)鉴别诊断中的临床价值。方法 选60例疑似CCSK/WT患儿均进行增强CT、病理学检查,对比2项检验结果,并分析增强CT的检查征象。结果 经病理切片免疫组织化学染色法诊断,CCSK患儿有23例(38.33%),均为单侧发病,左侧17例,右侧6例,瘤体昀大径5.26~15.62cm,未发现转移病灶;WT患儿有37例(61.67%),
期刊
近些年,深度学习在计算机视觉、语音识别、自然语言处理等领域取得了令人瞩目的成就。特定的深度学习模型在特定任务取得了成功,这种成功体现在两个方面,一是其热门且应用广泛,二是其泛化性能较传统机器学习方法表现优异。尽管这种基于深度神经网络的模型效果非常好,但其模型复杂度高,缺乏可解释性,缺乏完备有效的模型选择方法,是一个黑盒模型,理论分析和实证研究表明深度学习模型的VC维渐进无穷大、拉德马赫复杂性渐进趋
学位
知识库问答是自然语言领域非常重要的任务之一,它显著降低了用户访问知识库内容的难度。使用知识库问答使得回答更加精细化准确化,但知识库问答相比于传统的基于关键字的搜索方式来说,也面临了新的问题,即空结果问题。为了避免空结果问题,从而提高知识库问答的准确率,我们提出了一种基于SPARQL推荐的知识库问答方法。语义解析与信息抽取是实现知识库问答系统的两种主要方法。现有KBQA方法大多属于这两种类型。它们有
学位
机器翻译技术在全球化中扮演着十分重要的角色。随着全球化推进,机器翻译技术也在不断地进步,尤其是近些年来神经机器翻译技术的出现,将机器译文质量提升到了新的高度。尽管如今机器翻译技术达到了较高水平,但不少机器译文仍存在着错译、漏译、过译等问题。因此,机器翻译系统用户对实时掌握机器译文质量存在着较大需求。机器翻译质量自动评估(又称机器翻译译文质量估计,Machine Translation Qualit
学位
个性化推荐技术是解决信息过载问题的有效方法,能够根据用户喜好给出推荐结果,提高获取信息的效率,因此个性化推荐的研究是数据领域的研究热点。然而在真实的推荐场景下,由于用户和项目数量巨大,而反馈数量较少,数据矩阵有较高的稀疏性,从而影响推荐的效果。针对上述问题,提出基于聚类加权的协同过滤和神经网络的融合推荐算法,并通过马尔科夫链蒙特卡洛快速采样提高种子用户选取的效率。该方法旨在提高数据稀疏情况下的推荐
学位