随着大数据处理技术不断发展,流式数据日益被人们所重视,并在多个行业领域体现出其价值,这为流数据处理技术提供了广阔应用空间,也带来了更多挑战,如何合理利用当前主流的流计算技术平台、有效整合并充分利用特定行业各类流数据价值,已成为当前流数据计算应用所面临的主要问题。本文首先介绍了流计算相关技术研究现状和银行业流数据应用背景,接着分析对比各主要流数据计算平台优缺点,然后结合国内某商业银行流数据应用场景分析,设计实现了基于Kafka、Storm和巨杉数据库的银行在线交易服务系统,并就如何确保该系统流计算事件顺序一致性、如何提升流计算任务调度效率、如何实现多节点计算任务动态负载均衡三个关键问题,分别提出和设计实现了相关处理机制,最后针对这些处理机制和系统整体实现情况进行了测试验证。本文主要开展了以下几个方面的创新工作:(1)为了确保金融交易流数据处理在事件顺序上的严格一致性,设计实现了基于事件时间戳对比的流计算防乱序机制ETBC(Event-Time Based Comparison)。实验结果表明,ETBC防乱序机制能够可靠地识别乱序记录,并有效阻止对乱序交易记录的数据整合。(2)针对Storm默认任务调度器分配策略单一的问题,为提高系统处理性能,设计了基于单节点优先策略的拓扑任务调度算法SNP(Single Node Priority),并基于该算法实现了单节点优先策略调度器SNPScheduler。实验结果表明,SNPScheduler达成了跨节点任务分配最小化的效果,性能明显优于Storm默认调度器DefaultScheduler。(3)为了提高Storm集群各节点任务均衡负载程序,设计实现了基于集群从节点Slot资源使用率的动态负载调整机制SUDLA(Slot-Usage Based Dynamic Load Adjustment)。实验结果表明,SUDLA负载动态调整机制在兼顾拓扑任务跨节点分配最小化的基础上,实现了各节点匀衡负载最大化,提高了集群资源使用率。