基于云端辅助的嵌入式终端卷积神经网络模型更新框架技术研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:icefireren
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度卷积神经网络(DCNNs)在图像分类和识别方面达到了极高精度水平。现阶段大量研究已经开始致力于对深度卷积神经网络模型进行剪枝、量化等,使其能直接运行在资源受限的终端。但是,这种移植后的神经网络模型只能执行预测,这就导致模型对于多变的真实环境适应能力较差,若要使得模型能适应这种多变环境,则需要模型能持续地学习(训练)。然而,由于训练神经网络模型不仅需要大量的计算和存储资源,而且还需要大量的数据集,因而使得在资源受限的终端上训练模型不现实。因此,本论文的研究将针对模型持续训练(学习)的需求与终端上训练模型不现实之间的矛盾进行研究,利用强大的云端辅助嵌入式终端训练模型。在本文中,提出了一种基于增量学习思想,利用云端来辅助嵌入式终端上深度卷积神经网络模型实现持续更新的框架,并且针对该框架中存在的问题进行了优化,主要包括四个方面。首先,针对框架中数据收集过程带来的网络传输消耗问题,提出了一种过滤策略——“蒸馏”策略,以达到减小无用数据的上传而导致的网络传输浪费的目的;其次,针对云端深度卷积神经网络重训练过程中参数初始化问题,采用了类似微调的方式进行初始化,以达到减小模型下载过程网络传输消耗的目的;再次,针对云端深度卷积神经网络增量学习过程中存在的灾难性忘记问题,采用了新数据集和旧训练集融合的方式,以达到避免模型灾难性忘记的目的;最后,针对利用云端生成的新模型更新嵌入式终端旧模型过程造成的网络传输消耗问题,提出了一种权重提取策略——“榨汁”策略,从新深度卷积神经网络模型中提取少量重要的权重,以达到优化该框架中模型下载过程产生的网络传输消耗的目的。通过模拟实验,用于过滤上传数据的“蒸馏”策略能减小39.4%的上传数据,且对新模型性能提升的影响不大(过滤掉的数据对新模型性能提升无贡献),这充分说明该上传优化策略是可行有效的。对于旧模型下载过程中使用的权重提取策略——“榨汁”策略,通过多个深度卷积神经网络实验验证了“榨汁”策略能有效减小多于60%的数据传输,且能使得旧模型达到新模型的性能水平。
其他文献
海南省热带农业资源丰富,通过热带农业和旅游业联动发展不仅可以促进旅游市场的扩大,还可以实现热带农业资源的优化整合,以达到1+1>2的经济效应。本文通过对海南省热带农业与
目的:以益气养阴法为指导,使用参芪复方,对2型糖尿病不伴有糖尿病并发症且中医辨证为气阴两虚证的患者进行干预治疗,观察该治法对2型糖尿病患者的中医证候积分、空腹血糖、糖化血红蛋白、血脂、CRP、TNF-α、MDA、AGEs的影响。方法:纳入2型糖尿病中医辨证为气阴两虚证且无糖尿病并发症患者病例44例,按1:1随机分为治疗组与对照组,除去脱落的4例,最终完成观察40例。两组在均给予生活方式干预(糖尿病
A医疗器械公司是一家专业生产和销售手术无影灯、电动手术台、医疗手术床等医疗器械的股份制公司。自成立以来发展迅速,取得了较好的管理绩效。但在新的市场竞争环境下,A医疗
根据《中国制造2025》,国家将大力推动海洋工程装备的加快发展,而深海潜水器是大洋勘查和深海科学研究的重要海洋工程装备。耐压壳作为潜水器重要组成部分,处于举足轻重的地
作者结合自身从事农村信用社多年工作经验,通过阅读大量有关该领域研究文献,在我国农村信用社中间业务发展状况及其存在问题的基础上,对我国农村信用社的发展提出相关的对策
目的:探讨三黄煎剂对表柔比星作用于MDA-MB-231细胞药效的影响及相关机制。方法:采用CCK-8法检测三黄煎剂对乳腺癌细胞MDA-MB-231增殖的影响。RT-PCR法、Western Blot法检测
中间业务作为银行三大业务之一,具有风险小、收益高、成本低、赢利潜力大等特点。近些年来,中间业务成为商业银行收入的一个重要来源,各商业银行也日益重视中间业务的营销。聊城
公路长直线路段容易诱发驾驶疲劳问题。因该问题引发的交通事故性质恶劣,社会危害严重,所以公路直线的最大长度应予以限制。我国直线的最大长度一直以来采用20倍的设计速度这一设计惯例,但是由于我国地域辽阔,地形差异较大,对直线长度很难做出统一规定。如何根据项目既有情况确定直线的最大长度是目前亟待解决的问题。直线最大长度的限制应从避免驾驶疲劳,保证安全行车的角度考虑。安全的直线长度应根据驾驶人的心理反应和视
太阳是与人类生产生活关系最为密切的天体。太阳射电爆发作为一种自然现象,长久以来一直影响着人们的生活,它直接或间接对通讯、电力、航天等方面的技术仪器造成影响,对人类财富产生危害。因此,对太阳射电爆发现象进行深入研究,设法减小其对人类造成的损失具有重大意义。一直以来,对太阳射电频谱图像的检测工作以人工方式为主,工作量十分庞大,工作效率低下,故而利用计算机技术与方法对太阳射电频谱图像进行检测是十分必要的
大中型水泵选配10KV高压电机节资节能四川省新达水泵厂张元华近年来,国内兰州电机厂、湘潭电机厂等大型电机厂新开发出的大中型10K高压电机是一种能直接应用于10kV电网,可简化设备,无需配降