一种基于Agent和活动优先度的ETL过程并行方法

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户:danaxiao99
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
ETL是数据仓库获得高质量数据的关键环节,在数据仓库的构建和实施中占有重要地位。针对传统ETL串行执行方式的不足,提出一种基于Agent和活动优先度相结合的ETL并行执行方法。该方法计算ETL执行过程中各个活动的优先度,利用Agent理论和多线程并行计算技术实现并行执行具有相同优先度且相互间没有依赖关系的ETL活动。实验结果表明,该方法在数据量较大时具有较好的加速比,提高了ETL过程的执行效率。
其他文献
布尔多项式求解是当今密码代数分析中的关键步骤,F4算法是布尔多项式求解的高效算法。分析了Lachartre为F4矩阵专门设计的高斯消去算法,针对其中布尔矩阵乘这一耗时的计算步骤,
运行数据是大数据系统中增长最快、最为复杂也是最有价值的数据资源之一。基于运行数据,软件开发者可以分析关于软件质量和开发模型的重要信息。Spark作为一个分布式系统,在运
目的对青蒿鳖甲汤的国内研究进展概况进行整理总结。方法检索CNKI、万方、读秀等数据库近30年的相关文献,对以青蒿、鳖甲、知母、生地、牡丹皮为主组成的青蒿鳖甲汤的临床应
进入21世纪,随着更多高新技术的应用,大数据已经在高校后勤的信息化建设中发挥着愈加重要的作用,成为了支撑教育事业创新发展的重要依据来源。本文在对大数据技术及其应用进
伴随着21世纪初期全球一体化经济浪潮,大型跨国公司发展迅速,集团化的特征日趋明显,财务共享服务中心应运而生。而现代高新技术的发展和成熟应用,使人工智能以其突出的高效、
各地级以上市人民政府,各县(市、区)人民政府,省政府各部门、各直属机构:省劳动保障厅《关于进一步做好国有企业改制职工分流安置工作的意见》业经省人民政府同意,现转发给你
嵌入式控制软件是现代航空飞行器的核心部件之一。构建软件需求的形式化规约精确地刻画人们对软件期望的功能和运行场景,是确保此类安全攸关软件质量的根本途径。在工业界,形
清朝初年的黄元御为中医临床大家,著《四圣心源》一书,为其理论思想的总结。黄元御崇尚中气升降理论,对疾病的认识必从中气升降出发,而其对于消渴的因机证治认识更是足以启迪
摘 要:在社会快速发展背景下,计算机在各个领域也得到了进一步推广,但同时其软件的维护工作也逐渐成为困扰各行业的难题,其相关软件在维护过程中,由于涉及到很多问题,所以维护人员需要注意的地方有很多。而计算机软件的维护工作不仅影响着用户的正常使用,也关系着软件公司的开发成本,因此,必须要重视起相关维护工作。  关键词:计算机;软件维护;分析探究  随着我国市场经济水平的不断提升,我国计算机、网络技术也获
为加强与广大读者的交流互动,杂志社特举办有奖调查活动。时间为2013年1月1日至6月30日。我们将从有效参与本次调查的读者中抽取10名幸运读者,每人可获赠本刊2014年全年杂志一