JTangSpider:一种高性能Oracle数据库同步平台设计与实现

被引量 : 0次 | 上传用户:anknn21
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,越来越多的企业将服务接入互联网,服务模式呈现出跨地域、跨领域和规模化的跨界特征。如此一来,分布式数据库系统便成了企业提供优质跨界服务的基础,那么企业就将面临着整合异地数据库、集成异构数据库、同步实时数据等挑战。论文针对这一产业需求,提出了一种针对Oracle的高性能数据库同步平台架构模型,该模型包括增量数据提取、数据缓存与处理、同步映射与消息路由和多租户控制台四部分,其具有跨Oracle版本、高稳定性、高扩展性等特征。针对传统数据库同步中间件不能兼容多种Oracle版本的问题,论文实现了跨版本增量数据检测功能,该功能支持触发器监控、LogMiner日志解析、CDC(Change Data Capture)本地监控和CDC远程日志解析四种方式,监控模块能够根据数据库版本和同步场景自动适配最合适的监控方法。针对传统数据库同步中间件错误恢复能力较差、数据处理逻辑不能定制化和数据处理能力不能扩展的问题,论文提出了数据二级缓存模式和数据处理器责任链模式,设计了自适应调节系统和数据恢复系统。针对数据库同步映射模式多样化,网络环境不确定的问题,论文设计了同步映射管理器和消息路由。同步映射管理器将同步映射分为一对一、一对多和多对一这三种模式,极大地降低了同步映射管理难度;消息路由为用户提供性能可扩展的数据路由服务。针对多租户数据存储中数据共享和数据隔离矛盾,数据安全难以保证,服务节点负载不均衡的问题,论文以数据访问为中心,提出了角色分级管理机制和多租户数据分类存储机制,设计和实现了服务节点负载衡量模型和负载调节算法。论文基于Java开发了JTangSpider Oracle数据库同步平台原型系统,测试了数据监控引擎和数据处理引擎的性能,实验表明原型系统支持insert、update和delete三种DML操作同步,数据处理能力具有良好的扩展性。
其他文献
四川是中国西部地区人口最多、经济总量最大的省份 ,加之区位优势突出 ,因而在西部大开发中占有极其重要的地位。新中国成立以来 ,特别是改革后的 2 0年间 ,四川经济有了很大
谢灵运作为时代美学思想变迁的敏锐感受者,是第一个在诗里用全力刻划山水的人,完美了诗歌的艺术表现力。他的山水诗创作是中国诗歌史上最为成功的美学实践之一。谢灵运在山水
创新是产业技术进步和竞争力提升的源泉,增强自主创新能力是振兴我国装备制造业的必由之路,本文在分析产业技术创新能力概念和内涵的基础上,设计了由创新支撑保障能力、创新
华盖是从遮风蔽雨的伞盖转化而来,由实用器具升华为神仙方术意味的美称。这在汉代辞赋典籍中屡有记载,也被使用于奉神、长生、辟兵等庄严场合,在汉代图像中尤多见于西王母。
创新驱动过程分为前端驱动、中端驱动和后端驱动,共同作用于传统产业向战略性新兴产业演进过程中科技创新路线的每个相应环节,促进了知识积累、学习、创造及扩散,推进传统企
供应链管理过程中存在着种种不确定性,供应链风险管理将成为供应链管理未来研究的一个重要方向。本文对国内外有关供应链风险管理的研究现状进行评述,包括管理过程的风险识别
为研究制约中国未来农业发展的各因素问题,依据我国未来农业的发展总体目标,按层次分解问题,构成一个由下而上递阶层次的结构,建立了层次分析模型,得出各因素所占权重大小,进
一个国家的汽车设计创新水平往往是跟它的汽车产业发展密切相关的,就产销量及对国民经济的拉动作用而言,我国已成为世界公认的汽车工业大国,但还不能称为汽车工业强国,这主要
我国正处于食物结构转型期,畜产品需求增长强劲,但畜产品和饲料价格持续上涨且容易受其他因素影响。通过分析2008年9月-2013年8月国内、国际主要畜产品与饲料价格的变化规律
英语词汇学习一直是学习英语的重点和难点,拥有一定的词汇量才能顺利地进行英语的学习和应用,词汇学习的局限性会阻碍学生英语能力的发展。本文通过研究和分析语块教学理论,