分布式复杂事件处理系统中间结果传输优化机制研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:sicong907171
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着流数据在生活中得到了广泛的应用,越来越多的应用需要对流数据进行复杂事件处理,对多个数据之间的关联关系进行分析,从中获得更有价值的信息,例如金融交易分析、健康监测、智慧城市等。复杂事件处理需要快速地从流数据中识别出满足用户需求的复杂事件,由于目前数据规模不断增大,需要将复杂事件处理扩展到分布式系统中以提升其处理能力。在分布式环境下,处理过程中产生的中间结果需要在不同的机器之间进行传输以进行下一步的匹配计算。然而随着处理的进行,中间结果的数量迅速增加,大量的中间结果在分布式集群中的网络传输会严重影响系统性能,而且随着系统规模扩大,这一问题会愈发严重。针对中间结果的传输开销问题,提出了通过带路由表事件图结构进行中间结果传输的分布式复杂事件处理系统Anemoi。Anemoi将中间结果构造为事件图结构进行传输,事件图中的一个顶点和一条边分别可以表示多个相同的事件和多条相同的事件间关联关系,从而解决了中间结果之间事件冗余的问题,有效地降低了中间结果传输开销。同时,还设计了基于事件图的中间结果匹配方法,能够直接在事件图的结构之上进行匹配计算,避免了每次匹配前都需要从事件图中提取出中间结果的开销。此外,Anemoi系统实现了一套自适应的中间结果传输策略,可以根据系统负载实时调整中间结果传输方式,进一步优化系统性能。Anemoi系统基于流处理引擎Storm实现,通过两个来自于电子商务和出租车订单的真实数据集对系统各项指标进行了测试。实验结果表明,相比于目前最好的分布式复杂事件处理系统,Anemoi将系统吞吐率提高了39.4%,将处理延迟降低了32.5%。
其他文献
随着我国长江中上游特大水电站群的建设和投运,特大型水电机组成为支撑国家能源安全和完成减排目标的关键装备。特大型水电机组设备具有单机容量巨大、转速控制要求严苛、结构复杂等特点,其安全运行对于维持电力系统稳定具有重大影响作用。水轮机调速器作为水电机组的核心控制设备,承担保障机组控制稳定、响应电网调节指令的任务。开展水轮机调速器运行状态感知和实时监控对全面掌控机组运行状态,提升机组安全、经济运行具有重要
在扩大生物质热解规模和推动其商业化的进程中,由于热解的吸热特性,传热瓶颈成为主要的挑战,而氧化热解是一种潜在的解决方案。目前关于生物质氧化热解的研究集中在不同生物质种类、不同反应器类型和规模以及不同热解工况对于热解的影响。由于氧气的引入,热解过程中存在氧-焦的异相氧化和氧-挥发分的均相氧化以及常见的焦和挥发分的二次反应问题,这使得对于生物质氧化热解的研究变得极其复杂。本文以生物质组分中含量最高的纤
镉是一种有毒的重金属,对人体的健康造成极大危害。硒是一种人体及动物必需的微量元素,作为重要的免疫增强剂,对镉具有拮抗作用,可以在一定程度上缓解镉毒害。“硒高效”油菜薹提取物具有增精、抗癌等功效,对镉毒害大鼠生殖细胞、肝脏、肾脏等有显著的修复功能,而对肠道微生物和代谢产物的影响尚不清楚。本研究利用基于16S ribosomal RNA(16S r RNA)的高通量测序技术和基于液质联用的非靶向代谢组
X射线衍射法作为研究晶体结构的主要方法,可以在不同层面上表征材料的多种结构参数,具有测量精度高、不损伤样品、快捷高效等优点。以实验装置的性质分类,X射线衍射仪可以分为同步辐射大装置和实验室尺度小装置。实验室X射线衍射仪在X射线强度上远小于同步辐射大装置,应用非常受限,而同步辐射装置的机时非常宝贵,难以获得,因此X射线衍射实验存在一个中间区域的障碍。本文针对X射线衍射实验中间区域的障碍,设计了高精度
硅(Silicon,Si)以其比容量高、对锂电位低和储量丰富等优点,被广泛认为是下一代锂离子电池中最有应用前景的负极材料。然而,电子导电性差、在充放电过程中体积变化大和界面不稳定等问题导致了硅负极较差的电化学性能。另一方面,过去研究大多以高成本纳米尺度的硅为原料,通过复杂的工艺流程制备硅基负极材料,难以进一步产业化应用。在光伏产业多晶硅片的制造过程中会产生大量的切割废料,造成严重的环境污染和资源浪
随着现代无线通信系统不断向着小型化、高集成度的方向发展,其对于射频前端模块的多功能性能要求也越来越严苛。巴伦作为平衡-不平衡电路转换器件,被广泛使用在天线馈电网络、推挽式放大器、平衡混频器等设计中。在此背景下,本文针对多功能集成化的巴伦器件进行研究,主要从以下方面展开设计:1.基于双模π型短路螺旋槽线枝节结构,分别设计了三通带和四通带巴伦滤波器。双模π型短路螺旋槽线枝节结构相较于常规短路槽线枝节而
工程实践和科学研究中的大量问题可用非线性方程组描述,如电路设计、脉宽调制策略、蛋白质结构设计等。研究如何有效地求解非线性方程组具有重要的现实意义。非线性方程组一般存在多个根,而传统数值方法往往无法同时定位到方程组的多个根。演化算法是一类基于种群的算法,具有同时定位方程组多个根的能力。演化算法凭借其良好的鲁棒性和全局性,已被广泛应用于求解非线性方程组问题。目前,基于演化算法的非线性方程组求解算法在如
超材料作为一种亚波长单元结构的人工复合材料,具有灵活的电磁调控能力,被广泛应用于雷达吸波、电磁兼容等领域。随着探测技术的进步,发展宽频带、高性能的微波吸收材料具有重要意义。本文基于谐振加合机制,设计多种渐变金属线阵列图案,构建三维超材料结构吸波体,上下层叠加设计实现吸波频带的拓宽,开展宽频带高效雷达吸波特性研究,主要研究内容及获得的结论概括如下:设计金属线结构模型构建金属-介质表面,讨论金属线附着
图摘要是图的一种简洁表示,它能够有效地解决实际应用中的大规模图数据的分析、查询和存储问题。为了计算出动态图的摘要,研究人员将动态图建模为张量,使用张量分解算法挖掘出动态图的多维信息,然后利用这些信息计算图摘要。然而,当前的许多张量分解算法往往忽视了无权图数据的二进制特性,计算得到的实值因子矩阵对于原始图数据并不具有可解释的表达性,因此本文拟采用布尔张量分解方法来进行动态无权图张量的图摘要计算。布尔
永磁同步电机(Permanent Magnet Synchronous Motor,PMSM)因其调制范围宽、功率密度高和稳定性强等优势,被广泛应用于数控机床、电动汽车等不同的工业领域。PMSM工作效率的提升可以有效降低能耗、减小设备运行成本。因此,为了实现PMSM的高效率控制,本文基于高频方波信号注入,以凸极式永磁同步电机(Interior Permanent Magnet Synchronou