在大数据时代,越来越多的实时应用需要对大规模实时数据流执行快速并且准确的连接运算,例如股票交易系统,在线广告分析系统等。由于数据流到达速率快,源源不断地产生,传统的连接系统并不能很好满足上述的实时系统的需求。为了满足现有实时系统高性能的需求,现有的一些相关工作提出了流连接系统。为了达到高吞吐和低延时的实时性需求,分布式流连接系统需要使用高效的流数据分发策略来并行地执行复杂的流连接运算。分布式流连接系统主要包含两个组件:分发组件和流连接组件。分发组件负责从数据源接收数据,对数据进行预处理以及将数据分发到流连接组件中的若干个流连接处理单元。流连接处理单元负责对两条流(记为R流和S流)执行流连接运算。流连接组件中所有流连接处理单元会被分为两组,分别对R流和S流元组进行存储,并对另一条流新分发到来的元组与所存储的所有元组进行比对和连接操作。其中,分发组件对数据采取不同的分发策略,那么流连接系统则会有不同的性能表现。现有系统主要使用两种分发策略:随机分发策略与哈希策略。随机分发策略将其中R流(或S流)的每一个元组随机分发到任意一个存储R流(或S流)的处理单元,而同时将S流(或R流)的所有元组广播到所有存储R流(或S流)的处理单元中进行流连接运算。这种简单的策略可能使低选择性的流连接运算执行大量的不相关的连接匹配。哈希分发策略将R流(或S流)中的元组按照键值映射到与键值关联的存储R流(或S流)的处理节点中进行存储,然后再将S流(或R流)的元组按照键值映射到与键值关联的存储R流(或S流)的处理节点中进行连接。相比随机分发策略,哈希分发策略能大量减少连接运算,降低系统总体负载。但是,哈希分发策略会遇到严重的负载不均的问题。这种负载不均是由于元组的键值倾斜分布导致的。数据倾斜分布在实际的应用中非常常见。实验表明负载不均会严重影响系统的性能。为了解决现有流连接系统负载不均问题,提出了一种能感知负载不均的分布式流连接系统——FastJoin。该系统包含一个自主设计的监测器组件,通过监测器组件判断系统是否出现负载不均现象。当负载不均出现时,调用负载迁移策略。负载迁移策略需要选择一部分键值进行迁移,这时会调用一个自主设计的高效键值选择算法——GreedyFit。该算法的作用是选择尽量少的元组进行迁移,从而使系统达到负载均衡。实验使用真实世界的数据。实验结果表明,对比现有的最好的流连接系统,FastJoin可以大大提升在吞吐率以及延时方面的系统性能。