论文部分内容阅读
近年来,越来越多的企业将服务接入互联网,服务模式呈现出跨地域、跨领域和规模化的跨界特征。如此一来,分布式数据库系统便成了企业提供优质跨界服务的基础,那么企业就将面临着整合异地数据库、集成异构数据库、同步实时数据等挑战。论文针对这一产业需求,提出了一种针对Oracle的高性能数据库同步平台架构模型,该模型包括增量数据提取、数据缓存与处理、同步映射与消息路由和多租户控制台四部分,其具有跨Oracle版本、高稳定性、高扩展性等特征。针对传统数据库同步中间件不能兼容多种Oracle版本的问题,论文实现了跨版本增量数据检测功能,该功能支持触发器监控、LogMiner日志解析、CDC(Change Data Capture)本地监控和CDC远程日志解析四种方式,监控模块能够根据数据库版本和同步场景自动适配最合适的监控方法。针对传统数据库同步中间件错误恢复能力较差、数据处理逻辑不能定制化和数据处理能力不能扩展的问题,论文提出了数据二级缓存模式和数据处理器责任链模式,设计了自适应调节系统和数据恢复系统。针对数据库同步映射模式多样化,网络环境不确定的问题,论文设计了同步映射管理器和消息路由。同步映射管理器将同步映射分为一对一、一对多和多对一这三种模式,极大地降低了同步映射管理难度;消息路由为用户提供性能可扩展的数据路由服务。针对多租户数据存储中数据共享和数据隔离矛盾,数据安全难以保证,服务节点负载不均衡的问题,论文以数据访问为中心,提出了角色分级管理机制和多租户数据分类存储机制,设计和实现了服务节点负载衡量模型和负载调节算法。论文基于Java开发了JTangSpider Oracle数据库同步平台原型系统,测试了数据监控引擎和数据处理引擎的性能,实验表明原型系统支持insert、update和delete三种DML操作同步,数据处理能力具有良好的扩展性。