【摘 要】
：
日益增长的数据量给数据中心带来了严峻的压力,面对大规模的数据处理需求,数据中心不仅需要提升数据带宽,更需要保证数据处理的时效性,而传统的数据中心结构由于其局限性,越来越不能满足高吞吐,低延迟的处理要求。通用的大数据处理平台以CPU为处理中心,存在IO墙、存储墙等典型问题,并且进行大规模数据运算时吞吐量不高,难以达到低延迟的应用处理要求。以Flink为代表的典型大数据流处理系统具有大数据通用算法的算
【出 处】
：
中国电子科技集团公司电子科学研究院
论文部分内容阅读
日益增长的数据量给数据中心带来了严峻的压力,面对大规模的数据处理需求,数据中心不仅需要提升数据带宽,更需要保证数据处理的时效性,而传统的数据中心结构由于其局限性,越来越不能满足高吞吐,低延迟的处理要求。通用的大数据处理平台以CPU为处理中心,存在IO墙、存储墙等典型问题,并且进行大规模数据运算时吞吐量不高,难以达到低延迟的应用处理要求。以Flink为代表的典型大数据流处理系统具有大数据通用算法的算子管理,IO调度,实时处理能力,但基于CPU平台的Flink处理高带宽的数据时仍面临着算子吞吐量不足、处理时延较大等问题。本课题采用基于FPGA加CPU的异构协同计算的流处理架构,设计基于FPGA的网络卸载处理,提升FPGA的管理与交互能力,基于FPGA设计专用算子提升高计算复杂度的算子处理吞吐量、降低处理时延,提供一套可管理的通用数据实时处理平台。具体的,针对CPU平台下存在的算子吞吐量不足问题,设计了 FPGA网络服务系统,在FPGA侧搭建了数据卸载及运算管理结构,能够实现基于UDP/IP协议栈的高吞吐网络数据包解析处理,并完成了 FPGA实时管理配置交互;针对以CPU为处理中心时应用处理时延过高的问题,实现了使用FPGA作为工作节点的流处理系统,并设计了控制信道和数据信道分离的系统结构;针对FPGA在流处理平台的数据运算需求,完成了多个场景的应用算子开发,并设计了 FPGA之上的算子调度结构,包含缓存处理及Bit-Trochal算子选择算法等。本文实现了一套基于FPGA的流处理系统,较传统结构带来了较大的性能提升,尤其在大尺寸数据元组计算下优势明显。与Flink流处理平台相比,系统在卷积运算场景下能够带来260%的吞吐量提升,40%的计算延迟提升。
其他文献
领导通过对下属施加影响力达成组织目标,在员工完成工作任务的过程中起到一个辅助作用,其领导行为对员工有着举足轻重的作用。但是,目前的研究显示,领导排斥作为一种冷暴力,广泛存在于工作场所中。来自于直接领导的忽略、无视和排挤,将会在员工心理、工作态度以及工作行为等方面表现出负面影响,不利于组织的发展。因此,研究领导排斥对组织管理有着十分重要的实际意义。随着劳动力市场的发展,新生代员工成为了劳动力市场的主
“中国要美”离不开“农村要美”,农村人居环境的改善对新时期乡村振兴战略和美丽乡村建设具有重要意义。近年来,全国农村人居环境三年整治行动取得了不错的成效,持续改善农村人居环境,增强农民获得感和幸福感,在此基础上2022年国家提出将继续推进农村人居环境整治五年提升行动。红寺堡作为全国最大的异地生态移民扬黄扶贫集中安置区,农村移民人数众多,良好的农村人居环境成为“搬得出、稳得住、能致富”的重要环境条件,
推动农村“三产融合”是落实乡村振兴战略、促进农村产业兴旺的重要途径之一。在农村产业融合发展背景下,打破部门间的壁垒,畅通部门协同推动产业融合的关键环节,增强跨部门的协同合力,实现高效协同、互联互动、共享共赢,是加快推进农村“三产融合”发展值得深入研究的重要课题。本文以定边县不同部门在农村“三产融合”中的具体互动过程为典型案例,对定边县近五年来的政策文件和协同实践进行了比较分析,通过分析得出有效经验
量子信息处理结合了信息论和量子力学,是近年来最有前途的一种交叉学科。量子纠缠和量子相干都是量子力学中重要的物理资源,它们与量子计算、量子通信和量子精密测量等领域密切相关。量子纠缠在量子密钥分发、量子秘密共享和量子隐形传态等研究中扮演着重要角色,量子相干在量子生物、量子光学、量子热力学等学科中发挥着重要作用。然而,量子纠缠态不可避免地会受到环境的干扰而减弱甚至丧失其纠缠特性。不具有任何纠缠特性的量子
随着当前网络技术的蓬勃发展,漏洞伴随着网络软件数量的增多、功能的复杂化而相应增多,带来了非常多的安全问题。针对当前严峻的安全形势,由开发者提前发现软件中存在的漏洞并进行及时修补,对避免出现经济损失,保障网络安全具有重要意义。在网络安全测试即漏洞挖掘技术中,模糊测试技术相较于静态的源代码分析技术、动态的污点分析技术、符号执行技术等,在面对规模庞大、功能复杂的软件系统时,因为其易用和低性能开销的特点成
互联网在生活中的普及,除了带来生活上的便捷以外也带来了各种各样的网络入侵,这些网络入侵虽然隐秘,但想要发现他们也并非无迹可寻。在网络入侵发生的同时,主机系统日志正在记录着他们的所作所为,所以通过分析主机系统日志来预防网络入侵也是现今学界研究入侵检测重要的方向之一。因为传统的机器学习检测技术无法适应现今纷繁复杂的网络攻击手段,利用深度学习可以更好的从主机系统日志中提取网络攻击的特征。本文结合公开数据
中国自古以来就有“中兴”的思想,主要指在中国古代一个王朝从衰落重新走向兴盛的历史现象。关于“中兴”最早的记载始于汉代,汉代之前的“中兴”往往表现为复兴,比如殷之复兴。汉宣帝当政时期,励精图治,使得一度国力衰退的西汉王朝又重新兴盛起来,史称“汉宣中兴”。此时“中兴”仅仅是一种社会现象,其大意是转衰为盛,中途振兴。更具典型性的中兴是“光武中兴”。西汉末年,王莽篡汉,一系列改革祸国殃民,人们开始思念汉朝
角色外行为一直是人力资源管理实践和组织行为学研究的热点问题之一。随着“中国制造2025”方案的提出以及工业化与信息化深度融合的趋势,社会对高素质技术技能型人才的需求不断增加,职业教育越来越受到党和政府的重视,提升职业院校毕业生的培养质量势在必行,这同时对高职学院的教职工队伍素质和人才资源管理提出了重大挑战。教职工的角色外行为对学校组织发展目标的实现有着不可忽视的影响。本研究把G高职学院的教职工作为
地名属于一种独特的语言符号,承载着人类的历史文化,反映着时代变迁。本文以银川市629个行政地名为语料,从语言和文化的角度对其进行分析研究。在语言层面,银川市行政地名基本符合现代汉语的发展趋势。在文化层面,银川市行政地名深受当地历史文化的影响。本文主要由绪论、正文和结语这三部分构成,具体内容如下:绪论部分主要介绍了银川市基本的历史地理概况、与本课题相关的地名研究现状以及本文的语料来源、研究方法和研究
作为日本独具特色的“妖怪型”推理作家和“新本格”派先锋人物,京极夏彦以其丰富的民俗妖怪知识和细腻的笔触,勾勒出了一个与现实世界相交织的“妖怪”世界,丰富了推理小说的内涵,表达了自己对“妖怪”、怪谈等民俗文化的发展和现代人生存、精神等问题的关注。论文以京极夏彦的推理小说中的“妖怪”叙事为研究对象,综合运用了分类研究、比较研究、文本细读等多种研究方法,并结合叙事学、妖怪学以及心理学等多种理论,从其小说