【摘 要】
:
深度神经网络作为一种强大而灵活的学习模型在自动驾驶、虚拟现实和智能家居等智能应用中被广泛使用。然而,这类模型的高计算复杂度特性使其难以高效地运行于资源受限的终端设备上。目前的研究工作主要致力于减少模型的参数量和计算复杂度,忽略了设备的多样性。传统的深度神经网络含有唯一的推理路径,难以适应动态变化的环境。为解决上述问题,本文首先设计了一种基于多分支联合的可伸缩神经网络,该网络含有多个不同宽度的推理路
【基金项目】
:
《智慧城市信息—物理融合关键技术开发与应用》(编号:2018YFB2101300);
论文部分内容阅读
深度神经网络作为一种强大而灵活的学习模型在自动驾驶、虚拟现实和智能家居等智能应用中被广泛使用。然而,这类模型的高计算复杂度特性使其难以高效地运行于资源受限的终端设备上。目前的研究工作主要致力于减少模型的参数量和计算复杂度,忽略了设备的多样性。传统的深度神经网络含有唯一的推理路径,难以适应动态变化的环境。为解决上述问题,本文首先设计了一种基于多分支联合的可伸缩神经网络,该网络含有多个不同宽度的推理路径,运行时路径可无代价切换;接着提出了逐步增量式训练方法和基于多优化器的学习率双重衰减方案,用于提升网络准确率;最后构建了基于阈值选择的自适应推理方案,以提升可伸缩神经网络在动态环境中的推理性能。本文的主要贡献如下:1.本文设计了一种基于多分支联合的可伸缩神经网络。具体来说,我们首先提出了基于拼接式特征融合和阶段性连接的特征提取部分网络构建方案,之后在推理部分网络设计中引入了共享网络层和多重批量归一化。2.本文提出了逐步增量式训练方法和基于多优化器的学习率双重衰减训练优化方案。逐步增量式训练基于部分参数更新同步优化多目标,减少了网络的训练时间。学习率双重衰减方案通过调整各优化器对应的步长促进多目标同步优化。3.本文构建了一种基于阈值选择的自适应推理方案。首先,我们基于计算量和准确率分析确定了模型准备阶段可选阈值组合集的生成方式;其次,我们基于需求分析和适应概率确定了阈值组合选择算法。实验结果表明,与已有的可伸缩神经网络设计方案相比,本文提出的方案可使网络参数量平均减少20%,且使各推理路径对应的参数量不同程度地缩减。同时,基于逐步增量式训练和学习率双重衰减的训练方案使可伸缩神经网络各推理路径的准确率相比于已有最佳训练方案平均提升8%左右。除此之外,本文所提出的基于阈值选择的自适应推理方案可有效提升在动态环境中可伸缩神经网络的推理性能。
其他文献
农作物病害会影响农作物的品质和产量,给种植者带来巨大的经济损失,及时对农作物病害进行识别具有重要的现实意义。基于深度学习的农作物病害图像识别方法克服了人工识别方法的不足,结合了图像识别技术和深度学习技术两者的优势,具有良好的实用价值和应用前景。本文以提高农作物病害图像的识别准确率和模型的泛化性为目的,展开基于深度学习的农作物病害图像识别研究,重点研究了基于迁移学习的玉米病害和番茄病害图像识别,以及
氯代有机物是常用的化工中间体和有机溶剂,部分氯代有机物具有密度大、水溶性小、不易降解、毒性强等特点,是化工场地遗留常见的关注污染物和场地环境修复的难点之一。本文结合参与的国家科技部重点专项课题(编号:2019YFC1805802)的部分内容,选取原农药、溶剂生产企业的场地氯代有机物污染物的地下水水样,利用纳米铁(nZVI)和生化黄腐酸(BFA)、柠檬酸(CA)作为修复药剂,探讨了对氯代有机物的去除
"多边形的面积"是人教版《数学》五年级上册第六单元的内容,是在认识了基本平面图形的特征,长方形、正方形的周长、面积,面积单位后学习的内容,是研究圆面积的基础,也为研究长方体、正方体、圆柱圆锥体积提供策略依据。通过审视单元主题,梳理核心概念和单元目标,重组单元内容和练习,可以打破课时边界,使知识学习系统化、知识内容结构化,方法迁移正向化,思维提升显著化。
高温好氧快速发酵(RTAF)技术因可快速实现餐厨垃圾的资源化利用而备受关注。然而,餐厨垃圾中可能含有多种重金属。经好氧发酵处理后的餐厨垃圾被广泛用作肥料、土壤调理剂进入土壤,增加了土壤重金属污染的潜在风险。本文以高温好氧快速发酵工艺过程中的餐厨垃圾为研究对象,探究工艺过程中的重金属形态转化特征,并研究其关键影响因素。研究结果可为餐厨垃圾处理过程中重金属的污染防控提供科学依据。主要研究结论如下:监测
癌症,严重影响人们的健康和生活质量。随着“靶向治疗”的出现和发展,小分子靶向治疗药物已经成为治疗癌症的一个热门研究领域。研究者根据酪氨酸激酶的特性研制出了一些抗癌药物,给癌症治疗带来了极大的希望。临床上发现,第三代酪氨酸激酶抑制剂解决了前两代抑制剂出现的耐药性以及毒副作用,取得了很好的治疗效果,不幸的是近期发现有新耐药性的出现,使得治疗效果下降。现在急需设计出新的抗癌药物。吡唑并[1,5-α][1
目的:随着纳米科技的发展,纳米材料已经浸入了我们生活的方方面面。作为一种重要的纳米材料,纳米铜应用广泛,包括动物饲料添加剂。纳米铜亚慢性染毒在肝脏、肾脏和脾脏以及大脑和卵巢都有了相应的研究,对于雄性生殖系统影响的研究却较少。因此,本研究结合纳米颗粒和生殖毒性这两大研究热点,从纳米铜亚慢性染毒后大鼠体重变化、性激素分泌、睾丸组织形态学变化、精子质量、精子畸形率、Cu元素蓄积等方面考察纳米铜对雄性大鼠
莴笋是四川省主要的蔬菜作物之一,深受老百姓的喜爱。目前莴笋生产几乎采用人工作业,特别是收获环节,劳动强度大、劳动效率低,是全程机械化生产的最大瓶颈,国内还很少开展莴笋机械化收获的试验示范。为解决莴笋机械化收获问题,本文研制一款单行侧挂式莴笋收获机,分别以影响莴笋收获质量的前进速度、切割转速、切割夹角三个因素,开展单因素试验和正交组合试验。(1)莴笋要采用机械化收获,根据实际生产需要从田间土壤、耕作
四川蒲江县猕猴桃种植面积10万亩,是当地重要的经济支撑,市场前景广阔。由于当地各季节降雨量差异大,加上缺乏有利于该地区猕猴桃生长发育的灌溉制度研究,不适宜的灌溉制度不仅会引起水资源的浪费,还会影响了猕猴桃产量和品质。因此,本文针对研究区季节性降雨不足的情况,选择金艳猕猴桃为研究对象,在猕猴桃4个生育期(萌芽展叶期I、开花坐果期II、果实膨大期III、果实成熟期IV)内分别设置地表以下0-60cm范
常用的汽车气动减阻优化方法,如试凑法、近似模型法与离散伴随法,均存在一定的不足。针对这一问题,将离散伴随法与近似模型法结合,为汽车气动减阻优化提供一种快速有效的优化策略。本文以某型量产SUV为研究对象,对其进行了CFD建模与仿真、模型精度验证与仿真结果分析、气动外形减阻优化与分析等工作。主要内容如下:1)对整车几何模型进行了合理简化,如删除螺钉、线束等细小结构,并选用适当体网格生成策略,以兼顾仿真
凋亡细胞的正常清除是细胞凋亡必不可少的环节,对维持多细胞生物器官发育和内环境稳态至关重要。正常机体中产生的凋亡细胞若不能被及时有效的清除,凋亡细胞尸体及其释放的有害内含物会导致炎症或自身免疫性疾病的发生(如系统性红斑狼疮和类风湿性关节炎等),也会导致神经退行性疾病(如帕金森症和阿尔兹海默症)。凋亡细胞的清除在进化上高度保守,然而在哺乳动物中极其冗余复杂。为了更好地探究凋亡细胞清除的分子机制,人们常