基于多设备协同的深度学习模型推理关键技术研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:lingqiuyi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习和边缘计算的不断发展促成了边缘智能领域的诞生,边缘智能因为结合了两者的优势而具备巨大的应用潜力,但也面临着诸多挑战。其中,深度学习模型算力需求与边缘设备硬件性能之间不匹配的问题尤为突出。具体来说,因为深度学习的不断发展,相关模型变得愈发复杂,因而也就需要更多的算力支持,而这与硬件性能受限的边缘设备发生了冲突。该问题极大地影响了深度学习在边缘智能场景中应用的推进,如何解决这一问题成为了研究重点。因此,本文围绕该问题,针对以下内容进行了深入研究:(1)本文针对该问题综合分析现有方法,发现现有方法或是依赖于网络状态或是对模型精度影响较大。因而,本文提出了一种基于局部知识蒸馏的边缘通信压缩方法。首先对原始复杂模型进行分析并初次拆分;然后针对部分模型进行网络结构再设计,同时构建编码器-解码器结构用于压缩高维特征信息,以降低多设备协同执行深度学习模型推理时设备间的通信数据量;接着,为最大程度地降低模型结构调整造成的精度损失,本文利用局部知识蒸馏方法对模型进行训练;最后,按照编码器-解码器结构对新模型进行拆分部署。(2)本文针对网络动态变化的场景,提出一种自适应通信压缩算法,旨在根据网络带宽情况,自适应地调整模型编码器-解码器结构的压缩率,从而提高模型的有效精度;然后,针对现有跨设备任务协同算法通常是对于特定设备或任务的具体实现而缺乏通用性的问题,提出了一种通用的跨设备任务协同算法结构,用以保障多设备间协同任务的有序推进;最终,围绕本文提出的算法,在实验室自研编程平台的基础上,实现了基于多设备协同的深度学习模型推理系统用以完成边缘可编程控制器设备上协同任务的编程、编译与运行控制。最后,本文以经典深度学习模型为例,验证本文提出的基于局部知识蒸馏的边缘通信压缩方法的有效性。实验结果证明,该方法降低了传统方法对网络状态的依赖,尤其是在网络状态较差时,用于网络传输的耗时分别降低了83.46%、78.84%和89.66%,极大地提高了方法在低带宽情况下的有效性,同时保证了模型精度。并证明本文提出的自适应通信压缩方法在网络动态变化时能提高模型的有效精度。通过实际工程验证,证明本文提出的基于多设备协同的深度学习模型推理系统为本文研究的问题提供了有效的解决方案。
其他文献
习近平强调,网络空间是亿万民众共同的精神家园。网络空间天朗气清、生态良好,符合人民利益。网络空间乌烟瘴气、生态恶化,不符合人民利益。信息技术的飞速发展带动了新型网络传播方式的出现,社会公众的沟通日益紧密,但同时也因网络信息审核技术滞后、相关法律规定不完善等缺陷,导致网络不良信息的出现。网络空间中恶意传播的不良信息不仅破坏了网络生态环境,扰乱了社会经济秩序,更危及了政府公信力。面对当下错综复杂的社会
学位
针对航天器大直径人孔及燃料贮箱在极限温度下的密封问题,基于ANSYS建立大尺寸蓄能密封环三维分析模型,在常温下通过压缩回弹性能、线载荷、密封接触面比压分布研究,得到蓄能密封环最佳压缩比例应在20%左右。在最佳压缩比20%下对低温(-196℃)和高温(176℃)工况下密封环密封性能进行有限元模拟分析。结果表明,该密封环低温工况下密封性能较常温工况没有明显变化,而高温工况下则有一定降低。在不同压力工况
期刊
课程思政是一种新的课程价值观和教学方法论,通过将思想政治元素有机融入专业课教学中,以实现立德树人的教育目标。基于课程思政的教育理念,社会保障学课程建设在知识传授、能力培养和价值引领等方面进行了积极的探索。在内容体系建设方面,通过讲好社会保障的中国故事,突出马克思主义理论的指导作用,探索多种教学方法等措施全面提升教学效果。
期刊
本文分析融入课程思政的社会保障学混合式课堂教学的意义,阐述融入课程思政的社会保障学混合式课堂教学的具体实践:在教学设计上将主题式课堂教学与实践教学相衔接、在教学内容上挖掘课程思政元素并将之融入教学案例中、在教学手段上利用现代信息技术推进融入课程思政的混合式课堂改革、在教学评价上将课程思政融入对教师的评价和对学生的全过程考核中。
期刊
目的:探讨手卫生干预对提升手卫生依从性及降低院内感染风险的效果。方法:选取本院医护人员120名及2021年6月至2022年5月手卫生干预前后的患者各46例,通过隐蔽方式实施调查,分析手卫生依从性较低的环节,并开展手卫生干预,比较干预前后医护人员手卫生依从性、护理满意度及院内感染发生率。结果:干预后医护人员手卫生依从性高于干预前,差异具有统计学意义(P<0.05)。干预后患者院内感染发生率低于干预前
期刊
自2019年末至今,新冠肺炎疫情在全球范围内暴发、传播和变异,引起人们的广泛关注与积极讨论。随着互联网技术的飞速发展,新浪微博等网络社交平台以其快捷、共享、实时等优点成为人们信息发布与获取的主要途径,成为网络舆情发展与传播的重要载体。如何利用聚类、深度学习等技术方法从海量的舆情信息中检测出人们最关心的话题和情感趋势,从而引导正向的舆论传播,是当今非常有意义的研究课题。本文以“基于聚类和深度学习的微
学位
当前,数据资源成为一种重要资源,数字化转型也已成为乡村社会的重要趋势。随着数字乡村进程加快,数字治理成为乡村社会转型发展的重要内容,乡村数字治理也成为学术界关注的重要领域。然而,目前关于乡村数字治理的研究尚处于探索阶段,具体实践成效如何,会为村民带来什么样的影响和改变仍有许多待研究的问题。本文以浙江省典型数字乡村为例,聚焦于村民对乡村数字治理产品的技术采纳问题,重点研究村民的技术采纳对于其政治效能
学位
跨站脚本攻击(Cross Site Scripting,XSS)是Web应用最常见的攻击方法之一,XSS攻击具有攻击方式灵活与混淆方式众多的特点。近年来,已经有许多基于机器学习与深度学习算法进行XSS攻击检测的研究,但现有的XSS攻击检测的研究很少考虑到对抗样本对检测模型的影响,如果对抗样本能成功绕过攻击检测,则攻击检测模型将不能拦截黑客的攻击,导致XSS攻击严重危害用户的信息安全,所以,针对攻击
学位
首先根据2017年国家投入产出表定量测算了铁路、公路、水路、民航运输业的投入产出率,发现铁路、水路相对公路、民航来说投入产出效率低.其次,选取固定资产投资、行业就业人数作为投入要素,交通运输业增加值作为产出要素,使用DEA-BCC模型对我国2013—2017年综合运输投入要素配置效率进行测度与优化,结果表明,纯技术效率与规模效率对不同运输方式贡献大小不同,固定资产投资相对行业就业人数配置更有效.
期刊
随着互联网的日益普及,网络已深度融入人们的工作与生活当中,信息安全与隐私保护也变得越来越重要。如何构建先进的入侵检测系统来识别抵御来自网络的各类入侵行为、保证网络环境正常运行已经成为当前网络安全领域的研究重点之一。鉴于传统的入侵检测模型存在多分类检测性能较低、难以检测新型攻击手段等问题,本文将入侵检测与深度学习和强化学习的相关技术结合,首先提出了一种基于自注意力机制的卷积长短期记忆网络流量入侵检测
学位