【摘 要】
:
随着信息化建设在各行各业的深入开展,亟需在各个分散的应用之间提供横向数据贯通的通道,实现灵活的数据交换与信息共享。论文基于ETL技术设计与实现了一个数据集成与交换系
论文部分内容阅读
随着信息化建设在各行各业的深入开展,亟需在各个分散的应用之间提供横向数据贯通的通道,实现灵活的数据交换与信息共享。论文基于ETL技术设计与实现了一个数据集成与交换系统,对ETL增量交换任务模型、ETL任务调度方法等关键技术进行了研究,并在实际应用项目中进行了验证。论文主要工作和贡献包括:1)设计基于ETL的数据集成及交换系统架构,包括逻辑架构、物理架构,并对总体架构的各个模块进行详细设计。针对ETL增量数据交换过程中异常导致任务失败的情况,设计时间窗口数据去重方法,实现ETL时间窗口增量交换任务模型,减少异常对数据交换效率的影响。2)提出ETL任务集群调度方法,优化ETL调度分配与执行过程,提高计算资源利用率。该方法把ETL任务的调度与执行进行分离,并根据ETL任务参数对任务进行批量自动分配,在执行阶段动态调整任务的优先级优化执行。对比ETL任务单机执行,ETL任务集群调度扩展了 ETL的执行能力。3)基于本系统设计、实现了面向公安局作战指挥平台的ETL交换任务业务流程并进行部署运行。目前已稳定上线运行半年多,应用中有100多个ETL任务按数据量大小均匀分配到ETL任务集群执行器,保证了每个任务能获得机会运行,保证了时间戳增量抽取数据流程的可靠性,提高了数据抽取效率。初步验证了系统的有效性。
其他文献
【正】许元庆,1972年生于黑龙江勃利。曾就读于中央美术学院国画系。中国书法家协会会员,古典书画艺术院院长。出版有《许元庆刻印》、《许元庆印集》、《许元庆篆书岳阳楼记
农民收入是综合反映农村经济发展成果的重要指标,是衡量农民生活水平的主要标志。进入"十三五",做好"三农"工作面临着新形势,稳定增加农民收入遇到了新情况。要从调整收入结
悠悠湘味 浓浓湘情湘菜,是我国历史悠久的一个地方风味菜。湖南地处我国中南地区,气候温暖,雨量充沛,自然条件优越。湘西多山,盛产笋、蕈和山珍野味;湘东南为丘陵和盆地,家牧
对高职院校学生的特点和职业规划的作用进行研究,探求改善职业教育中职业规划现状的有益措施。
铝电解槽的电解质体系直接影响到工艺条件,由于氧化铝中杂质元素不断在电解槽中富集,电解质体系逐渐变得复杂化,特别是锂盐和钾盐含量升高较多,对电解槽的工艺条件控制造成了
近20年来,膜分离过程发展很快.如海水淡化,环境保护,石油化工,医药和食品等方面都得到了广泛的应用.其原因是由于过程比较简单,可在常温下操作,既节省能源又适于对热敏性物质
<正>一人失能,全家失衡。无数个家庭受此困扰。"要改革完善医养结合政策,扩大长期护理保险制度试点。"今年3月两会期间,长期护理保险制度首次在政府工作报告中被提及。长期护
【正】流转税是典型的转嫁税,税负转嫁决定了流转税的基本特征和机能。本文拟从税负转嫁的角度分析流转税的利弊,阐明我国流转税的改革方向。一、转嫁的流转税弊大利小我国的
以我国政府投资项目实施代建制为背景,剖析代建单位履约能力的内涵和构成要素包括代建单位应具备的资质条件、声誉、专业化能力和资金实力四个方面,分析代建单位履约能力提升
喜茶作为新式茶饮企业在短期通过饥饿营销赢得惊人业绩,同时获得巨额融资,在茶饮行业成为新式茶饮的典范。从喜茶饥饿营销策略应用入手,分析喜茶选用饥饿营销是以产品为核心,