论文部分内容阅读
当今社会,随着互联网的蓬勃发展,越来越多的行业面临着对大量数据的处理问题,通常这些数据集都符合有界、持久、大量这三个特征。为了能够对大容量的静态数据集进行操作,需要设计一个批处理框架。所谓批处理,指的是在处理海量复杂的大数据时,无需人工进行干预,只需要定期读入这些大批量数据,按照设定好的算法、流程,就能够完成对应的业务处理。批处理框架就是一个能够实现对大数据进行批处理的框架。在支付收单领域,由于移动支付的普及,也面临着对大量数据的处理问题,亦需要这样一个批处理框架。SpringBatch是Spring提供的一个数据处理框架,他是一个轻量级、全面的批处理框架,旨在开发对企业系统日常运营至关重要的强大批处理应用程序。SpringBatch提供了对批处理非常重要的一系列可重用的功能,这些功能包括任务的记录与跟踪、事务管理、任务处理统计、任务重启、任务续跑等。同时,Sprig Batch也可以很好的与其他框架进行整合,实现其基本功能的扩展,比如可以与任务调度框架整合实现定时执行任务的功能。收单平台也存在着每天需要对大数据量的订单进行对账清分的批处理场景,SpringBatch作为一个优秀的批处理框架,可以用于搭建收单平台的批处理系统。本文基于SpringBatch框架,整合了前端框架Easy UI,定时任务调度框架Quartz,数据持久化框架My Batis,设计了可以满足收单平台对账清分需求的批处理框架,并以此框架为基础实现了收单平台的批处理系统;该系统能够有效提高了对账清分的执行效率,提高了整个系统的安全性与稳定性。