面向深度学习模型的边云协同推理加速框架研究

来源 :罗泽建 | 被引量 : 0次 | 上传用户:qingqing008800
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在物联网实际场景下的诸多应用问题上,包括卷积神经网络模型在内的深度学习方法,是一种行之有效的解决方法。然而深度学习模型的特点是参数量多、计算代价高,在资源受限的物联网环境下,模型的部署与推理面临着不少的挑战。在相关的研究和实践应用中,边云协同的计算范式正在逐渐兴起。边云协同的计算范式通过边缘端与云端之间的合理协作,共同完成计算任务。而深度学习模型中的经典卷积神经网络,有着良好的层次结构及可解耦性。这为边云协同计算范式在模型的推理执行上的应用提供了可能。然而如何有效地利用边云协同范式来推动深度学习模型的应用,在实际的物联网场景仍面临着不少困难。深度学习模型的边云协同推理加速就是其中的一个研究热点。在深度学习模型的边云协同推理加速的研究方向上,已出现了不少行之有效的相关研究,也提出了不少有效的方法。如模型划分、量化压缩、以及瓶颈结构嵌入等。相关研究已经证明相应方法的有效性。然而这些方法的应用,会对模型的表现精度产生影响,如何权衡加速效果和模型表现精度,以及如何从众多可行的加速策略中做出合适的选择,是亟待解决的重要问题。如何解决以上问题就是本课题的研究内容之一。本课题通过将以上协同推理加速方法融合,作为基础的边云协同推理加速策略。再针对融合后的边云协同推理加速策略的最优选择,提出了基于模拟退火的最优策略搜索算法。通过实验验证了该算法的有效性:仅需要搜索部分协同推理加速策略,即可取得相应评估函数下的最优策略,大幅减少了模型训练、测量分析等计算开销。另一方面,在实际的物联网场景中,如何根据环境因素变化对协同推理加速策略做出动态调整,也就是一个需要解决的重要问题。为解决该问题,同时结合前述的最优策略搜索,本课题提出了面向深度学习模型的边云协同推理加速框架。通过模块化和框架化的方式完善边云协同推理加速方法的实际应用,解决离线阶段协同推理加速策略的最优选择和在线运行阶段的策略动态调度问题。在实验部分,先通过相关实验验证了动态调度方法对整体效果的提升,再在所使用的边云协同推理加速方法上开展了相关实验。通过实验验证了方法的有效性,并分析了相应方法的问题和缺点,证明了框架的最优策略搜索算法以及策略动态调度的必要性。
其他文献
现今,海洋科学是世界各国竞相发展的主要学科之一,但复杂的水下通信环境给海洋科学的探索带来了极大的阻碍。为能有效的解决水声信道复杂的时-空-频变特性,准确的水声信道估计技术就显得极为重要。在水声信道的模型研究中已表明,水声信道的冲激响应具有一定的稀疏性,而压缩感知技术主要就是针对稀疏信号的处理,因此基于压缩感知的水声信道估计技术便成了研究的主流。但随着对压缩感知技术的研究逐渐成熟,为进一步提升水声信
学位
航空磁探测过程中通过航磁探测设备采集磁场数据,用于检测磁异常物体,随着航空探测平台的不断改进,目前航空磁探技术已经成为了磁探领域中主流的技术。但是飞机在飞行磁探测过程中,采集的磁信号不可避免的要夹杂着地磁背景场信号,磁信号夹杂着磁背景场信号干扰,对异常检测准确度会有很大的影响,在航磁探测领域,飞机在飞行过程中所采集的点是不连续的。对于这种彼此离散点的总场值,经过处理获得精度较高的区域地磁背景场,同
学位
传统质量管理方式存在多种问题,不适应现代工程信息化的发展需要。相较于传统的二维施工图纸,三维BIM模型能对土木工程所有信息进行集成,把土木工程全周期、全要素信息均集成在一个信息数据库中,利用数字技术存储和传递建筑结构和构造特征信息,并加以3D模型实现信息的可视化展示;全寿命周期包括了土木工程从提出概念、决策、设计、施工建设、运营、养护到拆除阶段,一个从无到有,再到无的完整过程。三维BIM模型在工程
期刊
<正>2023年4月27日,消费电器核心零部件系统级解决方案供应商GMCC美芝、Welling威灵以“绿色科技美好生活”为主题亮相2023年中国家电及消费电子博览会(AWE2023)。展会期间,美芝重磅发布了拥有70项国内外专利的双吸气变频往复式压缩机,具备超大冷量、更高能效、双温保鲜、深冷低温的优势,有效解决冰箱制冷量不足且耗电量高等痛点。中国家用电器协会秘书长王雷出席了此次发布会。
期刊
工业控制系统(Industrial Control System,ICS)作为工业生产控制领域的重要神经中枢,ICS网络环境也从原来的封闭隔绝环境逐渐变成了与外界的连通性不断加强,使得ICS的安全隐患也变得更大,并且工控系统网络安全对于攻击数据的识别有着苛刻的高精度和低时延等要求,如何在这些限制条件下,从海量的工控系统数据中快速识别出未知安全事件和攻击种类,已然成为国内外研究重点。而在2020年提
学位
在当前教育事业不断发展与进步的背景下,促使教师转变自身教学理念,为学生构建高效课堂。在核心素养教育基础上进行小学语文单元教学设计,是符合当前新课程教育要求以及教材编排特点的有效教学手段。在此过程中教师需要不断开发与利用语文课程资源,建立起与语文教学活动之间的联系,保证可以发挥出教材的价值与功能,从单一教材以讲授为主的教学模式中脱离出来,扩展学生的语文学习空间,提升教学效率与质量,保证学生将学到的知
期刊
Foreign investment in human capital development,education,health,healthcare services and other social development,is vitally important to economic growth.This research is mainly focusing on the market
学位
5G作为新一代移动通信系统,在数据传输速率、时延以及频谱效率等一系列性能上都有了显著的提高。而其中,作为能够使5G移动通信容量有效增加的关键技术,把毫米波以及大规模MIMO联合在一起,不仅能够有效地提升频谱效率,更在覆盖范围、系统吞吐量等上展现出极大的潜力。与此同时,预编码技术能够将信号能量着眼于用户,有效地补偿了毫米波信号的传播损耗。另外一些常见的数字预编码方法在硬件方面的耗损比较大,不宜用于对
学位
石黑一雄,日裔英国人,是英国文坛最负盛名的作家之一。因其卓越的文学成就,他于2017年获得诺贝尔文学奖。作为石黑一雄出版的第一部小说,《远山淡影》一经发表就获得了英国皇家协会颁发的温妮弗雷德·霍尔比纪念奖。石黑一雄在该小说中运用的写作技巧成为其日后文学创作的标志。《远山淡影》围绕着在英国生活的日本女性悦子的回忆展开。悦子的这段回忆断断续续、迷雾重重,充满着不可靠性。本文基于对《远山淡影》的文本细读
学位
车载自组织网络将无线通信技术与现代汽车技术相结合,实现了车辆之间、车辆与道路基础设施之间的实时通信,能够有效提升道路交通安全和运输效率,为驾驶者提供更良好的驾驶体验。然而,无线通信的开放性导致车辆面临来自外部的各种威胁,带来的安全问题严重影响了车联网应用的落地。安全协议是解决以上问题的有效方法,然而目前已经存在的大量安全协议被证实存在各种安全漏洞,而且一些安全协议在实现过程中,可能会引入一些新的问
学位