基于非线性通道融合的深度神经网络模型结构研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:jlcclb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网具有强大的特征表达能力,在计算机视觉领域有着远超传统方法的效果,其应用设计和研究已经成为学术界和产业界热捧的对象。当前主流的卷积神经网络的特征融合方式线性、单一导致特征表达能力不足。针对该问题,本文首先提出一种基于非线性通道融合的一阶重排融合模块来提高特征表达能力;然后,针对该模块融合时单一通道辐射范围有限的问题,提出高阶重排融合模块;最后,针对多种重排融合模块与主流网络结构的组合方式难以穷尽的问题,应用可微分网络搜索方法来获得合适的组合方式。本文的主要工作包括:(1)提出一阶重排融合模块。主流卷积神经网络特征融合主要依靠加权相加的线性方式,而众多加强非线性的模块又存在忽略通道的融合、并行性差、参数量大等不足。针对以上问题,本文研究轻量化的非线性通道融合的辅加网络模块。将网络中间特征作为输入,先利用轻量卷积计算每个通道的浮点位移量,然后将产生浮点位移的通道分配到两个相邻整数通道,最后利用通道重叠实现融合。此模块输出的位移随输入数据动态变化,有很强的特征表达能力。实验表明此模块在图像分类的效果超越很多注意力模块。(2)提出高阶重排融合模块。一阶重排融合模块仅将一个产生浮点位移的通道分配到两个相邻整数通道,影响范围有限,其非线性融合能力仍有提升空间。本文进一步提出一种高阶重排融合模块,通过将一维的通道折叠成高阶张量来增加浮点位移通道的相邻点,实现更高程度的非线性融合。实验表明,高阶重排融合模块效果超越一阶重排融合模块。(3)提出多种重排融合模块组合的搜索算法。考虑到主干网络每个模块所要结合的重排融合模块可能不一样,本文进一步研究不同重排融合模块与神经网络结合时的组合方式。由于组合方式随网络层数呈指数增长,对于层数较深的网络,其组合方式无法遍历测试。针对该问题,本文将可微分网络搜索算法用于搜索主干网络每个模块所需的重排融合模块,成功搜索出合适的组合方式。实验表明,多种重排融合模块组合可以超越单一的高阶重排融合模块。本文提出的多种重排融合模块及其组合搜索算法能应用于主流卷积神经网络,提高网络分类性能。
其他文献
高光谱图像分类是遥感图像解译的热门研究课题之一,在众多军事和民用领域发挥着重要作用。高光谱图像的高维性、光谱变异性以及缺乏标签样本等特点,为其分类任务带来了极大挑战。本文基于大量参考文献,对高光谱图像的数据特性进行分析,总结了高光谱图像主流分类方法的研究思路;关注于深度网络的特征表示能力和过拟合问题,提出了两种基于混合卷积神经网络的高光谱图像分类方法。主要研究内容和创新如下:考虑到高光谱图像判别性
甘油磷酸二酯磷酸二酯酶(Glycerophosphodiester phosphodiesterase,GDPD;EC3.1.4.46)是生物体内普遍存在的催化甘油磷酸二酯水解生成3-磷酸甘油和相应含羟基化合物(如胆碱、肌醇和丝氨酸)的一类酶。我们研究团队前期发现来源于激烈热球菌(Pyrococcus furiosus DSM 3638)的GDPD(pfGDPD)具有溶血磷脂酶D水解活性,但其催化
本文基于过滤融合的数据预测方法是协同过滤算法和内容过滤算法的融合。本文基于过滤融合的数据预测方法利用用户历史行为信息、项目属性信息和用户自身特征信息预测用户的潜在未知行为倾向。本文研究的预测方法一定程度上解决了协同过滤算法的矩阵稀疏性问题和冷启动问题,同时也解决了内容过滤算法用户和项目交互信息不足的问题,从而在预测准确度上得到相应的提高并且在某些情况下会降低模型的复杂度。本文的主要工作如下:(1)
目前,随着物流行业的飞速发展以及人力成本的上升,在物流场景下的分拣搬运作业存在着非常大的自动化与智能化需求。本论文基于机器视觉技术,结合OpenCV视觉库以及TensorFlow深度学习框架,设计并实现了视觉引导分拣搬运作业解决方案。首先,阐述了智能物流系统的概念,并比较分析了物流环境下基于视觉引导的分拣搬运技术在国内外发展现状。以物流场景下多种纸箱的拆垛分拣搬运作业过程为研究对象,搭建了以计算机
肠球菌在食品、饲料和医药行业应用广泛,目前使用最多的两株肠球菌分别是Enterococcus faecium SF68(瑞士)和Enterococcus faecalis Symbioflor 1(德国),我国自主开发的肠球菌较少。本课题对分离自广州1月龄婴儿粪便的一株肠球菌菌株进行研究,探究其安全性和益生性(疏水性、自凝聚力、人工模拟胃肠道耐受性、抗菌能力、降血糖活性、降胆固醇能力和抗氧化性),
肺炎克雷伯菌(Klebsiella Pneumoniae)是与获得性感染相关的条件致病菌,被世界卫生组织(WHO)列为急需研发新抗生素的耐药致病菌。在兽医临床领域,肺炎克雷伯菌可以引起猪发病,已成为规模化猪场重要病原菌之一,其对猪场造成的危害不容忽视。现阶段,研究者主要探究猪源肺炎克雷伯菌的耐药性,但针对猪源ST37型(Sequencetype,ST)肺炎克雷伯菌进化关系及耐药、毒力基因的报道较少
建筑业在我国经济中占据着重要地位,然而建设工程项目由于其自身复杂性以及管理水平落后,施工安全事故频发,因此提高施工安全管理技术水平是亟待解决的问题。目前,在施工安全风险管理领域主要依赖人工阅读施工报告进行施工安全风险预测,且对于已有的安全事故案例和技术规范重用率低,未充分发挥其借鉴意义。本文在施工安全知识的基础上结合自然语言处理和案例推理技术,建立施工安全风险预测和案例推理模型。该模型可自动识别施
基于飞秒激光的SEVNB法(单边V切口梁法)已被证实能快速、准确评价陶瓷材料的断裂韧性,但对于结构复杂、多样、非均匀的陶瓷基复合材料,该方法罕见有研究和应用。目前,陶瓷基复合材料断裂韧性测试的常用方法依然是SENB法,但由于切口钝化效应,该法测得的断裂韧性值可能较真实值偏大。为了研究在陶瓷基复合材料领域,基于飞秒激光的SEVNB法是否优于SENB法(单边切口梁法),本文分别从微观尺度、中观尺度和宏
颗粒分析试验是土工试验中最为重要的试验项目之一,对于粒径小于0.075mm的土的粒度分布,实际工程中常用到基于Stokes公式的沉降分析法和激光散射法。土颗粒的矿物成分不同,其颗粒形状和表面物理化学特性不同。矿物颗粒是否为理想球体、是否带有不饱和电荷等理化特征将直接影响颗粒的沉降速率,进而对基于Stokes公式测试颗粒粒度分布的沉降分析法产生影响。而激光散射法根据悬浮液中不同颗粒对光的吸收及散射角
蛹虫草是公认的具有诸多药理活性的食用真菌,然而其产品形式单一,相关基础研究少。发酵是提高食品附加值最流行的方法之一,本文筛选出适合发酵蛹虫草浆液的乳酸菌后,探究了乳酸发酵过程中蛹虫草浆液主要活性物质及抗氧化能力的动态变化,并进一步评估了前处理杀菌工艺对乳酸菌发酵蛹虫草浆液风味的影响。本文研究结果如下:(1)蛹虫草浆液含抗菌物质,且可溶性固形物含量低(约1.0%),这可能不利于乳酸菌的生长。植物乳杆