基于结构化知识蒸馏的语义分割网络搜索

来源 :厦门大学 | 被引量 : 0次 | 上传用户:waterdrop505
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,语义分割在多个领域得到了广泛的应用。随着深度学习的快速发展,基于深度神经网络的语义分割在分割精度上不断提高,但巨大的参数量和计算量限制了网络在硬件上的部署,因而设计轻量级网络成为目前语义分割领域的研究热点。然而,传统的人工设计方法耗时耗力,因此研究者们希望将网络的设计过程自动化。于是,一些基于神经网络架构搜索的语义分割方法被陆续提出,并利用知识蒸馏技术,使用性能较高的大网络指导轻量级网络的训练,提高轻量级网络的分割精度。一些工作更是进一步地将知识蒸馏和神经网络架构搜索整合在一起,利用知识蒸馏提供的知识指导搜索算法寻找性能更优异的网络。然而,这些方法仅考虑大网络的输出分布,忽略了网络结构对知识蒸馏的影响,导致搜索算法往往收敛到次优解。针对以上问题,本文提出了一种新颖的结构化知识蒸馏算法,同时考虑教师网络与学生网络的输出分布和结构知识,并利用基于梯度的搜索算法寻找最优网络。为此,本文不仅第一次将结构知识建模为两个网络的结构相似度,还提出了一种新型的局部全连接的链式搜索空间。本文为搜索算法设计了一个多目标的优化函数:第一,利用传统的知识蒸馏方法来约束教师网络和学生网络输出分布之间的KL散度;第二,本文提出使用图转换模块将网络转换为图结构,并利用两个图之间的图编辑距离设计结构相似度损失;第三,本文利用网络时延损失,使搜索算法在三种硬件设备上得到应用。实验证明,本文提出的方法不仅优于传统人工设计的语义分割方法,而且优于基于传统的知识蒸馏语义分割网络搜索算法,说明本文方法搜索的网络不仅具有更多的优良特性、更适用于知识蒸馏,而且还可以满足定制化和不同硬件的部署需求。
其他文献
人工智能技术发展迅速,将其运用到医学图像分析领域辅助疾病诊断也逐渐受到关注。利用深度学习技术,实现结肠息肉和胃癌的智能识别具有重要的临床意义。本文针对消化内镜中的结肠息肉分割和胃癌检测存在的问题,提出了结合边界修正模块和多重注意力机制的结肠息肉分割方法以及基于SSD(Single Shot MultiBox Detector)改进的胃癌检测方法。本文主要工作和创新有以下三点:1.针对结肠内镜下息肉
学位
针对印制线路板(PCB)通孔高电流密度电镀的需求,通过循环伏安分析、霍尔槽试验和通孔电镀实验研究了不同分子量的聚乙二醇(包括PEG6000和PEG20000)、环氧乙烷(EO)与环氧丙烷(PO)共聚物(包括PE6400和17R4)及聚环氧乙烷-聚环氧丙烷单丁醚(50HB-400)5种抑制剂对通孔导通电镀铜的影响。循环伏安分析表明,抑制剂对Cu电沉积的抑制能力受其分子结构和分子量的共同影响。抑制剂分
期刊
过去15年来,美国在供应链领域“排华”不断升级和强化:奥巴马时期,诉诸多边在贸易谈判领域排挤中国,供应链“排华”埋下种子;特朗普时期,诉诸单边多领域全方位排挤中国,供应链“排华”初露端倪;拜登时期,诉诸多边以安全为名排挤中国,供应链“排华”显出雏形。美国内矛盾不断累积,民粹主义和贸易保护主义抬头;多重冲击叠加,供应链安全成为美国拉拢其他国家的“公约数”等,是其在供应链领域“排华”的重要原因。美国内
期刊
细粒度视觉分类由于其子类内的巨大差异和子类间的较小差异,使其成为了一项非常具有挑战性的任务,但是目前基于强监督信息的方法过渡的依赖于标注信息,而标注信息的获得成本十分昂贵,导致其很难在实际生活中应用。因此,基于弱监督信息的细粒度分类研究就具有极为重要的现实意义。为此,本文分别从整体局部区域和特征交互两个角度入手,提出了两种基于弱监督信息的细粒度分类方法,主要工作如下:(1)局部区域在细粒度分类中扮
学位
慢性胃炎在人群中的发病率达60%以上,早期症状不明显,因此很多人对此不够重视。慢性胃炎会经过萎缩、肠上皮化生和异型增生三个阶段,最终发展成胃癌。而胃癌是世界重大死因,因此通过对慢性胃炎进行筛查,使患者及时得到治疗,可降低胃癌发生的风险。慢性胃炎筛查的主要方法包括内镜诊断和病理活检。这两种筛查方法都具有侵入性,且检查结果需要由专业医生凭借其经验进行判断,容易出现漏诊、误诊的情况。相关研究表明慢性胃炎
学位
为了探究不同温度下淡水和微咸水中的微纳米气泡的衰减特征,通过微纳米气泡快速发生装置为淡水和微咸水通入微纳米气泡,分别研究了加氧淡水和加氧微咸水在20,25,30,35,40,45℃6个温度下水中溶解氧浓度随时间的变化特征。研究结果表明,不同温度下加氧淡水和加氧微咸水溶解氧浓度随时间增加逐渐减小的变化趋势符合指数函数变化特征。温度越高加氧淡水、加氧微咸水溶解氧的衰减速率越大,并且衰减速率会随着时间增
会议
以河南为研究对象,从资源节约、环境友好和产出效益3个层面选取13个评价指标,构建农业绿色发展评价指标体系,采用熵权TOPSIS组合模型以及障碍度模型分析河南农业绿色发展水平及其障碍因素。结果表明,2010—2020年河南农业绿色发展水平总体呈现U型变化趋势,其中环境友好是影响河南农业绿色发展水平的主要因素;环境友好相对接近度走向与总体趋势相似,波动性较强;从障碍度分析结果看,环境友好对农业绿色发展
期刊
基于农业绿色发展的深刻内涵,结合河南省农业发展情况,从资源利用、环境友好、生产效益、乡村发展4个方面构建河南省农业绿色发展评价指标体系,首先运用熵值法对河南省2015—2020年18个市及5个区域的农业绿色发展水平进行测度与分析;然后运用莫兰指数分析河南省农业绿色发展的空间演变特征。结果发现:河南省及各区域的农业绿色发展总体水平不断提高,豫西地区农业绿色发展水平增速最快,豫中、豫南、豫北发展趋势相
期刊
在线色谱分析仪是天然气能量计量的核心设备,选取具备代表性样气是分析准确的源头保障,而取样位置合理设置则是考虑的重要环节。文章共论述两个观点,一是通过对不同类型计量站场取样口位置设置的合理性分析,说明不同取样位置对实际生产的影响情况;二是通过对同一站场多上载点多分输用户各取样点实时色谱分析数据的声速计算和统计分析,说明在同一站场不同分输点设置取样口的必要性,以期为新建和改扩建能量计量站场提供可参考建
期刊
应用层次分析法确定农业绿色发展水平评价维度和评价指标,应用熵权法确定评价维度和评价指标的权重,应用综合指数法从社会发展、经济增长、农业生产、生态环境4个维度对山东省16个地市的农业绿色发展水平进行综合评价。结果显示:山东省各地市的农业绿色发展水平较高(指数平均值为0.43),地区间发展水平差距较小。但是各地市在社会发展、经济增长、农业生产、生态环境评价维度上表现各异。
期刊