流式计算(Stream Computing)已成为大数据生态体系中重要的组成部分,逐渐增多的实时处理场景为流式计算提供了发展和应用的重大契机。流计算的主要计算特征是以毫秒级甚至更短的延迟来处理数据溯源产生的动态实时数据流。与传统的大数据批处理技术(如MapReduce、Spring Batch)不同,流计算技术可以使金融服务系统、互联网后台处理系统获得实时高吞吐、低延迟的大数据应用关键能力。数据溯源的多样化、复杂化以及各种结构化、非结构化数据的激增,给流计算系统的负载能力带来了严峻的挑战。伴随着处理荷载逐步增大,流计算系统出现异常的可能性也大大增加,其可信性和可用性难以达到人们的要求。因此,十分有必要对流计算系统的异常监测及恢复策略展开深入地研究,这也是增强系统可用性的关键要求。本研究立足于流计算系统中发展相对滞后的异常监测及恢复领域,展开基础理论与技术的研究,具体的研究工作和创新点如下:1.通过对流计算系统的分析,研究能够准确表达系统运行状况时的关键指标数据,采集并选取系统运行的基本指标作为基础研究数据集,设计了一种面向流计算系统的基于隐马尔可夫模型的异常检测方法。首先,采集能够反映流计算系统运行状态的指标数据并进行前期的预处理;其次建立基于隐马尔可夫模型的统计监测模型,通过隐马尔可夫模型将系统外在特征指标和内部状态联系在一起,使该模型能够适应具备协同化、状态保持和转化的流式计算服务;最后基于监测结果,对流计算系统的运行状态简单分类,形成多分类监测机制。2.为了克服流计算系统容错恢复效率较低的缺点,本文设计了一种基于节点扩展的多等级异常恢复策略。首先,恢复策略采用元组约减的方式来减少备份的元组,从而减少恢复的时间;其次,以节点的可扩展与元组上游备份策略结合形成基本的恢复方式,当系统中的节点出现异常需要恢复时,只需在新扩展的节点上进行元组重放即可;最后,根据节点的异常状态划分成不同的等级并形成多等级恢复,在一定程度上能够感知系统的异常,提高异常恢复效率。3.基于上述两方面的研究,本文结合现有的实验条件,搭建了相应的实验平台,在此基础上采用故障或异常注入的方式来分析相关异常监测方法及恢复策略的有效性。综上所述,本研究主要从流计算系统的异常监测和恢复策略两个关键点出发,研究了流计算系统的可信性及可靠性的问题。