面向边缘智能的大数据处理性能与成本协同优化机制研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:iloveyouggyy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习技术取得了迅猛发展,并在安防、电商和金融等重要民生领域实现了规模化落地应用。然而,随着当前移动终端和物联网设备的高速普及,如何高效地将深度学习模型从云端下沉到网络边缘,进而解决人工智能落地的“最后一公里”问题已经引起了学术界与工业界的高度关注。针对上述难题,边缘智能概念应运而生。基于边缘计算这一新型计算模式,边缘智能在更加靠近用户和数据源头的网络边缘侧位置训练和部署深度学习模型,从而改善深度学习应用的运营成本和用户体验。为了将边缘智能推广至更广阔的应用场景,其性能与成本的协同优化是当前急需解决的主要难题,研究该问题具有重要的理论和实践意义。针对这一难题,所提出的面向边缘智能的大数据处理性能与成本协同优化机制分别从数据预处理、模型训练和模型部署三个阶段出发,深入研究了边缘智能各阶段的性能与成本协同优化问题。通过克服系统异构性、高度动态性、大规模性和资源供需失衡等挑战,分别提出了面向跨域分布式数据处理的数据和任务放置优化机制、面向边缘连续学习的数据调度和资源配置优化机制、面向边缘推理服务的模型选择和资源配置优化机制。面向跨域分布式数据处理的数据和任务放置优化。跨域分布式边缘节点间的网络带宽存在显著异构性。此性质使跨域分布式数据处理应用的中间数据混洗阶段面临网络传输延迟不均衡问题,从而影响总体性能。针对这一挑战,提出了数据与任务放置协同优化机制,该机制基于数据分布和网络资源异构性协同优化输入数据和输出任务放置,从而平衡网络传输延迟,提升中间数据混洗阶段性能。然而,即使针对单一查询请求,由于输入数据放置优化和输出任务放置优化的时间尺度不一致且相互耦合,上述问题仍然面临多时间尺度和非凸性两方面挑战。针对上述挑战,提出的优化算法综合运用基于预测的两阶段优化分解和凸优化松弛方法高效近似求解上述非凸优化问题。在此基础上,通过改进经典最短剩余处理时间策略,进一步提出了面向多查询请求的输入数据、输出任务和边缘资源协同调度与分配机制。基于真实任务负载的仿真实验表明,所提出的优化算法最高可将总成本降低83%。面向边缘连续学习的数据调度和资源配置优化。受制于有限的边缘资源供给,部署于边缘节点的深度学习模型通常为压缩得到的轻量模型。然而,在部署过程中,随着实时推理样本逐渐偏离模型所能表征的特征空间,推理精度会逐渐下降。针对这一问题,提出了连续学习概念,其以增量的方式周期性地对动态到达的新数据样本进行模型重训练,从而保持模型精度。同时,现有商业边缘智能平台如AWS Greengrass和Cloud Io T Edge均在云端进行模型重训练,引发了高昂的成本开销。针对这一难题,提出了面向边缘连续学习的数据调度和资源配置优化机制,该机制以云边协同方式执行模型重训练,通过利用模型重训练的延迟容忍性、数据灵活性和资源成本波动性,动态优化训练样本的准入控制、传输调度和资源配置策略,从而在降低长期资源成本的同时提升模型训练精度。然而在上述问题中,动态变化的输入参数(如未来样本的到达率)通常难以预测。针对这一挑战提出的在线优化框架,基于李雅普诺夫方法分析并设计了一个无需预测未来信息即可在线作出近似最优决策的在线优化算法,以实现长期资源成本与模型精度之间的动态自适应平衡优化。面向边缘推理服务的模型选择和资源配置优化。随着边缘智能在越来越多的应用场景落地部署,边缘推理服务的性能与成本优化问题将成为制约其可持续发展的重要问题。针对这一难题,提出了模型选择和资源配置协同优化机制。该机制基于不同模型所具备的不同延迟-精度-资源特性动态优化模型选择和资源配置,从而平衡优化推理延迟、精度和资源成本。由于上述问题为NP难的线性整数规划问题,因此如何设计面向大规模应用场景的高效近似优化算法成为了亟需解决的关键挑战。针对这一挑战,提出了基于随机舍入的近似优化算法。该算法首先将整数优化问题放缩为易于求解的线性优化问题,在此基础上,针对求解得到的小数形式资源配置决策,进一步设计了随机关联舍入算法,通过将两个随机选择的资源配置分数解,以一定的概率将其中一个向上取整,另外一个向下取整,来修正小数解,从而保证在满足节点资源容量限制的同时降低总体开启的容器个数,以达到降低成本的目的。严格的理论分析表明,所提出的近似算法相对理论最优解具有可证明的近似比。
其他文献
激光雷达技术以其高空间分辨率的廓线探测优势,在大气科学相关领域发挥着重要作用。相比于采用传统回波能量接收方式的激光雷达技术,基于光谱检测的瑞利-布里渊激光雷达技术的参数反演方法更加简便、高效。但是,瑞利-布里渊激光雷达技术的现有光谱处理方法,一方面会受到光电转换过程中的电噪声影响,另一方面会受到去卷积产生额外频谱引起的光噪声影响而降低参数反演精度。对于该技术的现有参数反演方法,散射谱半高线宽与温度
学位
焦栈图像是聚焦于场景不同深度的二维图像序列,其所含的对焦变化和深度信息对立体显示、显微成像、沉浸式多媒体等领域有着关键作用。然而,焦栈图像在提供对场景的细致描述和全面呈现的同时,通常受限于采样密集、表示冗余、数据体量巨大等瓶颈,给数据压缩、存储、传输和应用带来了巨大的挑战。针对上述挑战,本文提出了表示模型以实现焦栈图像的高效表示,进而基于表示模型设计编码方法以解决单视点和多视点条件下的焦栈图像压缩
学位
本世纪以来,随着云计算、物联网、网络直播、元宇宙等各种互联网业务不断发展,第五代移动通信完成铺设开始普及,网络流量的分布逐渐演变为新的形态。持续增长的用户和终端数量,日趋多样化的网络业务,使中短距光纤通信系统流量逐渐超越传统的长距骨干网流量。当前,中短距光纤通信系统面临着频谱资源有限、成本敏感与通信容量需求增长之间的矛盾。研究调制复用技术和简化接收方案,对于实现高频谱效率、低成本的下一代光纤通信系
学位
近些年随着网络科学、人工智能、数据挖掘和知识发现技术的突破性发展,人们已经具备定量分析自然科学和社会科学中诸多复杂问题的能力。在这些研究中,复杂网络被广泛地用于描述复杂系统和建模实际问题。其中具备多层结构的复杂网络扮演着极为重要的角色。现有针对多层网络的研究绝大多数是在已知完整多层结构信息(层信息)的前提下展开的。而在实践中,更常见的情况是网络的层信息是未知的或部分已知的。这使得研究缺失层信息的网
学位
日益严重的人口老龄化问题是目前世界各国共同面临的难题之一。我国人口老龄化、高龄化现象十分严重,老年人口总量大而且老龄化程度逐渐加深。国家统计局的公报显示,2022年我国60岁及以上人口为28004万人,占总人口的19.84%。人口老龄化带来的一个严重后果是患病率的上升,尤其是慢性病发病率上升,进而导致老年人口的失能。由于科学技术的发展,医疗水平也在不断提高,使得我国人口的人均预期寿命也在不断延长。
学位
期刊
期刊
目标数量估计是实际生产生活中的重要任务之一,在城市安防、智慧交通、农业信息管理等方面有着广泛的应用需求,其目的是统计特定目标的数目。在众多计数解决方案之中,基于计算机视觉的方法因其高速、准确的特点,是当前学术界的研究热点之一。它起源于检测、分割方案,后逐渐被全局或像素级的回归方法所取代,但仍然受到数据分布以及真值噪声等问题的影响。为了解决这些问题,基于局部预测的计数被提出。这一方法因其区域计数的特
学位
文章分析了工程建设行业“多主体”共同承担安全生产责任的特点,探讨了各参建单位在建设安全中的角色及发挥的作用,论述了在当前法规体系下工程建设行业存在的安全生产履责偏差现象,在此基础上对几类责任主体安全生产责任的分解进行了探索。
期刊
版次:第一版出版时间:2017-09开本:国际16开(1)出版单位:中国建筑工业出版社装帧:平膜标准书号:978-7-112-21119-7页数:594【内容简介】由中国土木工程学会土力学及岩土工程分会桩基础学术委员会与中国工程建设标准化协会地基基础专业委员
期刊