随着社会信息化程度的提高,企业和社会机构在日常生产和运营过程中产生越来越多的数据,同时企业和社会机构也越来越重视对数据的管理和保护。在这样的背景下,数据同步服务的市场需求与日俱增,在数据容灾、数据迁移、数据抽取等诸多场景,数据同步都被视为一项必不可少的技术。本文介绍的高可靠数据增量同步系统,是山大地纬软件股份有限公司数据库基础架构的重要组成部分,为公司的智慧政务、智慧医保医疗等业务提供数据同步服务。为保障业务信息的安全性,本文在数据同步的各阶段,结合企业的业务特点,设计出一套完整可行的技术方案。本系统在数据抽取阶段可以支持MySQL数据库和Oracle两种数据库,在抽取出增量数据后,将增量数据存储在消息中间件中。系统采用事务分析技术,将增量数据解析成数据库事务对象,通过分析事务对象信息,可以判断事务类型,能够根据业务需求过滤特定类型的事务。通过分析事务对象间的关系,可以规划出正确的事务并发重做顺序,提高事务重做效率,有效解决数据增量同步系统在数据变更重做环节的性能瓶颈。本系统能够准确记录数据增量同步进度,监控系统各环节的工作状况,能够应对网络故障、存储故障、数据库元信息错误等不确定因素,充分保证数据同步的可靠性。本系统被应用于多个城市的智慧医保、社保系统中,运行平稳稳定,持续提供给高可靠的数据增量同步服务。本文介绍了数据同步的背景和相关研究,分析数据同步的功能和非功能性需求,介绍了高可靠数据增量同步系统的设计和实现。系统主要包含日志处理模块、事务信息存储模块、事务分析模块、事务重做模块、系统管理模块、系统监控模块共六个模块。本文详细介绍了各功能模块的工作机制,以及如何保障服务可靠性。