基于特征知识的神经网络结构优化算法研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:yueliangjing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络以其强大的表征能力,已成为人工智能发展的核心技术之一。对网络模型精度的提升需求和移动设备的应用表明优化神经网络的性能有重大研究意义。传统方法采用注意力机制增强特征知识或者利用不同模型之间的特征知识迁移来提升模型性能,忽略了预训练网络中隐含的特征知识能够指导网络结构调整的优势。轻量级神经网络的结构设计主要考虑对卷积操作本身进行重构,将所有层的卷积核设为相同大小。这种设置忽略了不同深度以及不同通道的卷积核提取的特征尺度是有差异的。本文利用预训练网络中的特征知识,对模型的卷积核大小进行微调,不仅实现同层和跨层的多尺度信息融合,而且能够对冗余的滤波器进行剪裁,在提升模型表征能力的同时压缩模型,通过优化神经网络结构改善了模型的性能。本文的主要创新点如下:1.本文提出了一种基于分组卷积的高效特征知识提取算法。该算法考虑了空间域的多尺度信息,通过分组卷积实现每个通道空间域特征知识的提取,能够批量且高效地提取每个通道的最大响应连通区域,引导模型关注每个通道特有的视觉模式增强通道特征的表达。2.本文提出了一个基于特征响应区域的混合卷积衡量策略。通过计算指标对轻量级网络的卷积核大小进行逐通道的调整,自适应地实现层内和跨层的混合卷积,在压缩模型的同时提升模型性能。本文提出的算法在多个任务和数据集上进行了大量的实验验证,并与当前人工设计的卷积模块进行了对比。实验结果表明:本文提出的基于特征知识优化神经网络结构的方法不仅能够选择适当大小的卷积核提升模型的准确率,而且能够识别出冗余滤波器,使得模型变得更紧凑。与人为设计的卷积模块相比,本文所提出的方法也取得了更好的性能。不同任务上的结果纵向对比分析表明,相对简单的分类数据集,存在更多的冗余过滤器,我们的算法自适应地将其卷积核大小设置为零;而检测任务中目标的尺度更加多样,通过混合卷积提取了更丰富的特征,使得模型性能更好。表明网络会根据任务自适应地选择不同的混合卷积比例,这为不同任务的网络结构设计提供了新的思路。
其他文献
半导体键合技术不仅在片级封装领域得到广泛应用,近年来在二维材料异质结和薄膜异质结制备中也备受关注。利用传统的直接键合方法存在晶格失配和热失配,这会恶化键合质量。而中间层键合缓解了界面的晶格失配,并且选择合适的中间层材料,能够进一步降低键合温度、减少热应力,因此寻找能够实现低温键合的中间层材料具有重要价值。非晶Ge同Ⅳ族半导体工艺兼容但熔点高,通过Sn的掺入可以显著降低晶化温度,实现高强度的晶片键合
学位
随着计算机辅助医疗越来越受到关注,得以应用,各种计算机辅助医疗的手段与方法更是层出不穷,然而大部分的方法只是应用在了西医上,对于中医这一领域的涉足则相对较少,因此,在中医诊断中舌诊方面与计算机技术相结合的案例也有待于丰富发展。舌诊作为中医行之有效的一种特色诊断方法,从古至今一直在临床实践中发挥着重要作用。舌诊的理论知识并不复杂,但中医医生在学习和实践中以理论模型为基本依据,以图像辨识为基本技能,通
学位
近年来,以深度卷积神经网络为代表的深度学习算法在图像识别、检测、分割领域取得了令人瞩目的效果。在医学影像病灶分割任务中,以U-Net为代表的全卷积神经网络在脑、肝、心脏、肾等多个部位以及超声图像、磁共振图像等多种形式影像上取得了接近乃至超过人类专家的性能,但是其仍受限于依赖大量的高质量图像-标签对、难以应用于缺少含病灶图像场景、缺乏可解释性以及泛化性能差等问题无法很好地应用于实际临床场景。本文通过
学位
在机器人技术中,获得一套稳定的动态控制方法显得尤为重要。非线性系统的控制被认为是控制工程中的重要研究课题,控制器必须很好地处理存在在控制系统中的非线性和不确定特征,然而,对非线性和不确定特征进行数学建模的困难阻碍了高性能控制器的发展,而人工神经网络具有多种智能功能,如自学习和自适应,因此,许多研究人员开始将重心转移到神经网络控制器的开发中,许多可以获得快速收敛和动态响应的控制器已经被开发出来。在神
学位
情感分析(Sentiment Analysis)一直以来都是自然语言处理(Natural Language Processing,简称NLP)领域的重要问题。而在深度学习领域,尽管对于一般的情感分析问题,已经有了比较优秀的解决方法,但中文复杂长句情感分析问题还远未得到很好的解决。由于复杂长句句子长且句子情感具有转折、递进等变化,使得基于深度学习的方法难以有效学习长句情感变化。这是在复杂长句情感分析
学位
预算执行关系到财政收支政策的贯彻落实,关系到财政资金的使用效率。对事业单位而言,是否做好预算执行工作,是否能够在科学预算方法的指导下,落实预算编制,并对其进行严格,是非常关键的问题。基于此,文章以“事业单位预算执行的困境及对策”为研究对象,从多个角度对这一话题进行论述,以期相关研究内容能够为广大工作人员提供参考。
期刊
近年来,我国水产养殖业的产值与规模发展迅速,养殖方式也日趋丰富,但其自动化和智能化水平还有待提高。研究表明,被动声学技术对水产养殖业有着重要的理论价值和工程应用价值。因此,本文以鲍鱼为例,在海洋生物发声、鲍鱼养殖等方面进行了大量的文献调研,采集并分析鲍鱼摄食期间的发声信号,对信号进行增强、识别工作,设计了基于声信号处理的水产生物行为监测系统。主要工作如下:(1)介绍了水产生物行为监测系统的总体结构
学位
<正>福建省委网信办深入贯彻落实中央组织部、中央网信办《互联网企业党建工作双提升三年行动计划》,不断提升互联网企业党的组织和工作覆盖、着力提升互联网企业党组织政治功能和组织功能,以高质量党建引领互联网企业高质量发展。截至2022年12月底,全省“三有”(有固定经营场所、有一定数量职工、有生产经营活动)互联网企业党组织覆盖率为84.6%,较2021年提高6.1%,网龙、美图、四三九九等5家互联网企业
期刊
随着营商环境的改善,推动商业银行发放信用贷款是完善中小投资者权益保护,解决企业融资难融资贵的主要突破口。商业银行信用贷款是指不要求商业银行的借款人提供资产担保,仅仅依据商业银行对借款人的了解对其提供资金扶持,帮助企业走出融资困境,盘活市场经济。国务院常务会议指出要确保信用贷款的比例稳步增长,提升信用贷款在商业银行日常经营业务中的比重。本文通过梳理商业银行信用贷款发展现状,并指出商业银行信用贷款现存
期刊
在以市场化为导向的金融业改革和发展趋势下,商业银行面临着日趋激烈的市场竞争。市场竞争作为银行业重要的外部坏境,影响着银行的利润空间和经营行为,也必然关乎银行的风险水平。与此同时,非存款负债近年来备受银行青睐,在银行总负债中的比重逐步上升。因此,本文研究的主要问题是我国商业银行市场竞争对银行风险会有怎样的影响?非存款负债在其中扮演怎样的角色?银行市场竞争是否会通过负债端中非存款负债渠道影响银行风险呢
学位