一种通用分布式异构数据同步系统设计与实现

被引量 : 0次 | 上传用户:huanglien
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大型集团型企业的数据往往分布在各个异构环境中,但业务需求又要求企业进行数据的交换和同步,分布异构数据集成是企业业务与服务整合的关键支撑技术。由于应用平台和数据模式各不相同,传统数据同步方式多针对每一种数据同步模式开发一种系统,缺乏统一的数据同步框架。针对这一问题,论文设计实现一种通用的数据同步框架。论文主要介绍一种分布式异构数据同步系统JTangSync的设计与实现方案。系统采用分布式架构,每个节点由数据源模块、数据传输模块、处理器模块等组织而成,数据源模块负责提取数据,数据传输模块主要负责数据的高效传输,处理器模块负责数据的处理。更重要的是每个模块均设计为可替换插件形式,方便进行二次扩展。各个节点依赖zookeeper组成集群,实现了分布式资源的集中管理和故障转移、断点续传等分布式功能。与现有数据库同步系统相比,JTangSync系统内置多种异构数据库数据源,支持复杂异构数据库同步;支持用户开发和定制自己的数据源和数据处理程序,方便进行二次开发;通过采用自定义压缩数据交换格式和包合并、缓存、自适应压缩算法等网络优化方法,使得系统具有较高性能;借助zookeeper这个分布式协调系统,系统实现了分布式系统的故障转移、断点续传等功能,提供了较好的可靠性。
其他文献
在土木工程建设过程中,建筑结构基础是整个建筑物安全的最基本保障影,建筑结构的基础设计工作直接影响整个工程的建设水平与建设质量。虽然近年来,我国建筑行业取得了一定的
由于涂层中不可避免地存在气孔,使得涂层的性能与结构和相应的块材相比差距很大。因此研究涂层的损伤开裂不仅具有理论意义,而且为涂层材料在实际中的应用提供了分析基础。本
随着国家对三网融合的政策支持和推进,最终三网融合当中最为重要的一个竞争主体——广电网络未来的发展将面对巨大的机遇和挑战。我国传统的广电网络公司都是以广播和电视业
互联网技术进步有力推动线上消费繁荣。许多企业巩固线下销售模式同时大力发展线上营销模式,构成双营销渠道运作形式。双营销渠道模式引起学者极大重视,其中信息搭便车问题特
<正>常复发性肾病综合征(PNS)是指经激素治疗后能完全缓解,但在半年内复发2次或一年之内复发3次以上者。肾病综合征反复发作,可以使肾小球病理损害进一步加重,从微小病变型转
电镀行业的含氰废水处理技术多样。采用“碱性氯化方法”处理,本文简介淮阴市自行车链轮厂日处理200吨含氰电镀废水实例、处理原理、工艺流程、主要设计参数、效益分析等。实际表
移动互联网的发展为传统金融业带来了很多机遇与挑战,互联网企业直接参与传统金融机构尤其是银行的金融业务,并且在短期内取得快速收益,直接冲击传统银行盈利模式。随着金融
简要介绍了电力线通信技术,分析了对利用电力线通信技术实现智能家居网络的载波技术、网络控制技术等组网关键问题,介绍了一种基于LonWorks技术的电力线智能家居网络解决方案
电影片名的翻译优劣对于其传播有直接影响。从意美、音美、句美、民俗美展开,探讨英语电影片名的四大翻译基本原则之一的美学原则。通过对若干英语片名汉译的实例进行分析,指
随着我国工程造价管理制度进一步与世界接轨,造价管理已不是传统意义上的预结算工作,它涵盖了从决策、设计、招投标、施工及竣工等各阶段的全方位、全过程的计价管理。特别是