面向实时数据仓库的达梦数据交换平台改进

被引量 : 0次 | 上传用户:jiangur2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当前经济竞争激烈的信息化时代,实时数据仓库不仅需要为BI(BusinessIntelligence)系统提供预测和分析的战略性支持,而且还需要提供实时战术性决策支持。实时战术性决策支持要求实时数据仓库能够进行实时快速地更新,然而传统数据仓库ETL周期调度更新方式和批量处理不能实施实时快速地更新,鉴于达梦数据交换平台是一款专业的ETL产品,且不能对实时数据仓库提供实时支持,因此,对达梦ETL改进以适应实时数据仓库环境具有重要意义。基于实时数据仓库特点及对ETL新要求的分析,提出了一种实时数据仓库体系结构;同时在对达梦ETL实现原理进行了深入研究基础上,从调度策略和ETL过程执行两方面进行了改进。其一:考虑到传统数据仓库以天、星期和月等为周期进行周期调度,这种方式的数据时延很大,不能满足实时数据仓库环境的要求。因此在达梦ETL上增加了一种事件触发调度,事件触发调度是一种灵活的实时调度策略,它结合了数据源中变更数据的特点及用户的需求等,可以实现从多角度设置触发条件,能够实时地对数据仓库中数据进行更新,很好地满足实时数据仓库对ETL的实时调度的需求。其二:实时数据仓实时性实时触发调度需要快速执行ETL过程,而达梦ETL过程执行时,数据抽取、转换和装载过程各在一个线程中执行,因此采用了多线程任务执行分解方案对ETL过程执行加于改进,实现多线程并发执行数据抽取、转换和装载过程,通过提高并发度来提高ETL过程的执行效率。通过实验表明,事件触发调度策略能够根据用户所设置的条件进行判断,在条件成立时实时地把增量数据集中的数据更新到实时数据仓库中,并且多线程任务执行分解改进在系统CPU资源没有得到充分利用时,对ETL过程的执行效率有一个显著的提高。
其他文献
产妇产后出血是导致孕产妇死亡的主要原因之一,而且突发性很强,一旦出现抢救不及时就会使产妇的生命受到威胁,所以防治产妇产后出血是产科医务工作者的一项重要的任务,从预防
医疗事故技术鉴定是化解医患纠纷的重要途径。达到"公平公正"的医疗事故技术鉴定需要的不仅仅是合理的制度设计,更需要一个强而有力的监督机制,对医疗事故技术鉴定的程序、主
近年来,保障性住房的建设量日益扩大,其套型面积相对于普通商品房大幅减少,套内空间有了新的特点,本文对保障性住房的套内空间进行了研究。本文以现在保障性住房选址、规划特点为
设计了一个切比雪夫低通滤波器,切比雪夫滤波器的通带内有纹波,阻带内衰减快,它是以通带内的波纹换取截止频率处的最大衰减。波纹越大,截止频率处的衰减越大。该设计方案能达
文章对辽西地区基岩质海岸主要造林树种进行调查,经比较分析,造林树种应选择侧柏、刺槐、日本黑松、油松、火炬树。侧柏、日本黑松适应性强,适于在基岩质海岸的各类立地条件
<正>一"双师素质"教师的素质特征第一,具有高职教师的基本素质特征。"双师素质"教师首先是教师,其服务的对象是学生,其基本职责是教书育人,因此,"双师素质"教师应具有高职教
装配式空心板桥是国内中小跨径桥梁常用桥型。近年来,随着交通量增长、重载交通增大,大量装配式空心板桥出现单板受力现象,严重影响了结构的安全和使用性能。本文以典型装配式空
科学技术的不断进步使计算机越来越得到人们广泛使用,因此信息的安全性也就得到了人们越来越多的关注,这就在一定程度上提高了计算机数据库的备份与恢复操作的地位。文章就计
道路危险货物运输的需求随着社会经济的快速发展,以及产业结构的不断变化而也日益增加,道路危险货物运输量随之快速增加,越来越多的道路危险货物运输事故的相继发生,事故会带来
目的对支气管扩张患者应用超声雾化吸入妥布霉素治疗的临床护理方法和疗效进行观察。方法资料选自2010年12月份—2013年3月份在本院诊治的支气管扩张患者96例,将其分为两组,