论文部分内容阅读
随着大数据时代的来临,流式数据处理技术以其支持实时数据流处理的特性得到了广泛关注。复杂事件处理(Complex Event Processing,CEP)作为一种支持流式数据处理的技术,通过operator graph将底层数据转换成高级事件给用户使用。当用户处于移动环境下时,CEP技术也随之演变为“移动感知”复杂事件处理技术(Mobility-aware CEP,MCEP)。现有的MCEP技术的关注点在于使用同步机制区分查询范围并初始化operator,其并未考虑通过并行机制提高负载上限,达到更高吞吐率,这限制了 MCEP在面对高负载、高数据流量的场景的事件处理能力。为使MCEP具备并行事件处理的能力,本文向MCEP引入基于下副本的并行架构,并且:(1)保证MCEP在并行架构下事件处理的正确性。(2)提出了一种动态伸缩机制,能检测副本分配不足或副本分配过度,并调整副本的数量。(3)提出了一种负载均衡机制,在各个副本的负载失衡时将其调整至相对均衡的状态。我们的工作具体如下:1.本工作提出了一种并行移动感知复杂事件处理架构,架构中使用副本代替operator作为事件处理的基本单元。副本能将其产生的事件正确地划分并输出至后续副本,同时使副本能对多个前续副本发来的数据流中的事件进行合并。本工作还提出了一种基于该架构的同步机制,使不同查询范围之间的事件能相互区分,以保证并行架构下的移动感知性。2.在上述并行移动感知复杂事件处理架构下,本工作提出了一种动态伸缩机制以根据operator负载调整其副本数量。此外,本工作还提出了一种负载均衡机制,使operator的各个副本间的负载尽可能均衡。动态伸缩与负载均衡机制以范围查询结束时的系统负载快照作为优化依据,发现需要动态伸缩或负载均衡的目标并执行动态伸缩与负载均衡过程,从而提升系统的吞吐率。3.本工作进行了一系列实验,以验证本工作方法的有效性和效率。