随着计算机技术和网络技术的飞速发展、数据生成设备的不断丰富,越来越多的行业领域产生了以“高速”、“持续不断”和“动态变化”为特征的数据。这类数据被称为流数据（Streaming Data）。流数据的价值通常随着时间的推移而迅速降低,对这类数据的实时处理要求越来越高。传统的“先存储后处理”技术,如数据库与批处理,不再满足对此类数据及时处理的需求。因此,流处理（Stream Processing）技术应运而生,并成为学术界与工业界近年来大数据管理的重点探索领域之一,相关的流处理系统层出不穷。为了提高系统应对海量流数据的处理能力、满足应用的低延迟需求,流处理系统往往采用超大规模分布式集群或云平台部署。例如,阿里的Blink系统最大的生产集群机器数超过1,500台;Microsoft的Stream Scope系统部署在两万台机器的共享集群上。随着系统规模的不断扩展,加上系统24×7小时不间断运行,系统出现故障的概率不断攀升,可靠性问题加剧。故障可能导致系统输出错误的结果、造成系统不可用,降低用户体验,甚至带来高昂的经济损失。因此故障容错成为分布式并行流处理系统中亟待解决的问题。研究者们提出了多种容错技术,其中基于检查点机制（Checkpoint）的被动复制（Passive Replication）由于其较低的复杂性与资源消耗被广泛应用于主流的分布式并行流处理系统中。本文旨在挖掘现有分布式并行流处理系统检查点机制存在的缺陷,设计相应的解决方案,最终实现高效的容错,即在保证系统快速恢复的同时,降低容错对系统无故障期间的运行时开销。本文的主要贡献总结如下:（1）设计了针对分布式并行流处理系统的容错技术评测框架:流式基准评测成果往往只关注系统在无故障发生期间的性能评测,而忽略了容错机制对系统性能造成的负面影响。为了弥补这项研究内容的缺失,本文设计了首个针对分布式并行流处理系统容错技术的评测框架。具体地,由于已有流式基准评测工作的局限性,其中的工作负载与评测指标关注的是系统的整体运行性能,不能直接用于容错技术的评测,因此本文分别就容错对系统无故障期间带来的负面影响与容错恢复效率两方面,定义了相关的评测指标,并基于三类典型基准程序,结合数据特征、应用场景特征与容错机制特征的可控参数,设计了六种特定工作负载。通过对两个主流系统的容错机制评测,总结并挖掘出其缺陷所在,奠定了本文另外两项研究工作的基础。（2）设计了自适应检查点机制以降低容错对系统性能的负面影响:在生产环境中,开发者往往结合自身经验与应用场景需求将分布式流处理系统的检查点间隔设置为某个固定值。然而,检查点间隔的取值与系统的可用性紧密相关。通过容错技术评测框架评测两个主流系统发现,检查点间隔取值过小将导致检查点操作频繁干扰系统的正常逻辑处理,造成延迟急剧增加;检查点间隔取值过大将导致累积过多的待重播数据,造成恢复时间过长。同时,由于流数据天然的动态变化特性,固定不变的检查点间隔取值使得系统在流量高峰时无法避免检查点操作的执行,将造成长时间的系统性能下降。本文分别就非协作式与协作式检查点机制,优化了基于算子与拓扑处理利用率的检查点间隔模型,使其支持任意故障概率与数据倾斜分布;利用层次聚类的时序分割思想,设计了自适应检查点间隔的动态调整策略以应对流速的变化,从而降低检查点机制对系统无故障期间造成的额外开销。（3）设计了代价敏感的负载均衡机制以提高容错恢复效率:分布式并行流处理往往基于元组的Key进行数据路由与分发。对于基于Key的操作,以Key为单位进行均衡调整往往能最大限度地保持算子的处理语义,但是当Key倾斜程度较为严重时,算子的多个并行实例极大可能出现负载不均衡现象。通过容错技术评测框架评测主流系统发现,超载实例由于被分配过多的数据、累积更多的状态,导致检查点回滚耗时远高于其他低载实例。此外,若数据倾斜发生在数据重播阶段,超载实例成为故障恢复时期的拖延者,降低系统整体的恢复效率。本文在兼顾CPU、内存与网络带宽开销的前提下,提出了基于Key的混合数据分发策略与三种轻量级的、代价敏感的均衡调整策略,使得系统在保证良好均衡效果的同时,降低了均衡调整所带来的额外代价,最终提高恢复效率。综上所述,本文通过容错技术评测挖掘现有分布式并行流处理系统容错技术的潜在缺陷,并设计了自适应检查点机制与负载均衡机制以实现高效容错。通过在不同的测试负载与数据集上进行了大量的实验以及与相关技术的对比测试,本文全面验证了提出方法的正确性与有效性。