面向边缘的基于FPGA加速的分布式流处理系统

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:purong0826
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
物联网技术的快速发展使得流式数据呈现爆炸式地增长,各种应用的实时性要求也越来越高,传统的云计算模型已经不能高效及时地处理当前高速产生的海量流式数据,在边缘进行流数据处理变得越来越迫切。然而,与资源丰富的云相比,边缘集群的硬件基础设施相对较差,计算能力有限,因而流数据处理的性能受到限制,不能满足日益增长的高实时性需求。现场可编程门阵列(FPGA)具有大规模并行计算能力和极低的功耗,并支持灵活的重配置,这为提升边缘集群的计算能力从而实现更高效的流数据处理提供了一种新的途径。因此,提出利用FPGA来加速部署在边缘集群中的流处理系统:通过在边缘服务器上配置FPGA板卡,并实现边缘集群中流数据处理系统与FPGA资源的集成,进而在系统中利用FPGA来加速流计算任务,从而提高流数据处理的性能。具体地,设计并实现了一种面向边缘的基于FPGA加速的分布式流处理系统(F-Storm):为了减小系统的部署和运行开销,实现了一个轻量级的管理器来集成和管理FPGA资源;针对FPGA资源受限的场景,设计了一种自适应的加速器优先的任务调度策略,在充分利用FPGA资源的基础上实现了任务从FPGA到CPU的反向卸载;同时,优化了系统中的JVM-FPGA数据传输机制,采用批量传输和流水线技术来减轻数据在JVM和FPGA之间传输的时间开销,从而降低数据处理延迟。此外,针对FPGA的使用使得流应用程序开发复杂化的问题,该系统提供了简单易用的编程接口,大大减轻了用户开发流应用程序的负担。本系统的实现是基于Storm,实验表明,相对于原有系统Storm,F-Storm将平均处理延时降低了36%-75%,获得了1.4x-3.2x的吞吐量提升,并且还大大降低了计算的关键线程的CPU利用率,提升了流数据应用的执行性能。
其他文献
谷维素(Oryzanol,又名握瑞萨罗、阿魏酸酯)存在于米糠油中,系以三萜(烯)醇为主体的阿维酸酯的混合物.该药作用于间脑的自主神经系统与分泌中枢,能调整自主神经功能,减少内分
随着我国经济的高速发展和人们生活水平的不断提高,我国制造业经历了一个高速发展的时期,并已形成一个门类齐全、与国际接轨的完整工业体系,家具行业呈现出一派欣欣向荣的景
自1960年8月美国成功发射并回收“发现者”13号侦察卫星以来,伴随着美、俄、英等国对外层空间的军事利用的不断加强,太空军事化已引发广泛关注。文章剖析了太空军事化的科技、
目的探讨天疱疮患者感染状况及预防感染的干预措施。方法选取医院2013年1月-2016年12月收治的56例天疱疮合并感染患者为感染组,选择同期住院治疗的天疱疮非感染患者60例为对
目前,沉井式结构已发展成为土层内地下构造物常用的结构形式之一。沉井基础的独特性在于埋置深度很大、受力稳定性好、整体结构性强,能够承受巨大的上部垂直及水平荷载,占地
准噶尔盆地东北缘石炭系烃源岩主要分布在准东和腹部地区,根据野外地表调查,针对准噶尔东北缘石炭系烃源岩有机质丰度、类型、成熟度特征进行了综合研究和评价,研究区烃源岩
目的:探讨幽门螺杆菌(helicopter pylori,Hp)相关性胃炎1 000例患者中医病、证分布规律。方法:依据Hp相关性胃炎诊断标准及痞满、胃痛、嗳气、吐酸、呕吐等诊断要点,将由赵文
白马人的民歌《黛西阿如艾》,主要流传于四川省绵阳市平武县的白马藏族乡。这首歌源于白马藏族乡核心区域厄里寨,但具体年代无考。在白马藏族乡的扒西家、详述家寨还采录到同
<正>新课程的基本理念认为,学生学习的过程是一个原有知识结构主动构建新知识的过程,在这个过程中,有效的情境能够促进原有知识同化新知识的进程。《化学课程标准》也明确指
文章回顾了样例学习研究的起源与发展,主要介绍了其理论依据——认知负荷理论,并分别围绕外在认知负荷、内在认知负荷以及相关认知负荷介绍了最新国内外样例学习的设计方法: