银行资产负债管理数据的分布式ETL设计与实现

来源 :湖南大学 | 被引量 : 0次 | 上传用户:diyapple
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,数据量的激增,为数据分析提供了基础,促进了以数据仓库技术、数据挖掘技术为基础的商业智能的蓬勃发展。在银行资产负债管理过程中积累了一定量的数据时,基于数据仓库技术,对数据进行挖掘,能够从中发现很多有价值的信息以辅助银行管理层的决策。然而,随着银行业务数据量的激增,ETL实施作为银行数据仓库开发过程中最关键的部分之一,已经无法满足银行资产负债管理过程中大数据量处理的需求。因此,本文针对现有的银行资产负债管理数据ETL过程中数据处理效率比较低以及对非结构化数据的处理支持不足的问题,研究银行资产负债管理数据的分布式ETL。本文通过分析银行资产管理中ETL实施过程中数据来源,梳理和分析信用卡业务和其他业务的业务数据处理需求以及相关功能需求,设计分布式ETL的总体框架以及数据抽取、转换和加载功能,运用Map Reduce技术和My SQL数据库,在Hadoop平台上设计与实现了银行资产负债管理数据的分布式ETL。从而解决Map-Reduce技术、分布式ETL和My SQL等关键技术在银行资产负债管理数据中的应用。通过性能测试并对测试进行分析,测试结果表明分布式ETL明显优于一般ETL的性能,本文所设计和实现的银行资产负债管理数据的分布式ETL具有良好的性能,可以一定程度上满足银行资产负债管理过程中大数据量处理的需求。
其他文献
以巴沙鱼皮为原料,研究酶法制备鱼皮胶原ACE抑制肽工艺,蛋白酶筛选结果显示复合蛋白酶最利于制备高ACE抑制活性鱼皮胶原肽。对影响Protamex制备鱼皮胶原ACE抑制肽工艺中的酶
目前,越来越多的人选择学习古筝来陶冶自身的情操,因此我们必须掌握学习者在学习古筝演奏过程中的情感表达技巧,从而使得音乐的情感表达到位。本文主要以古筝演奏中的情感表
创伤后应激障碍(Posttraumatic stress disorder,PTSD)是一种严重的灾难性事件或威胁,如战争及自然灾害等所引发的巨大痛苦或惊吓、或遭遇悲剧等,导致的精神、身心症状的持续
目前个人信用体系存在着数据来源不全面、覆盖人群范围窄和预测准确率低的问题,尚不能满足当前社会经济快速发展对个人信用体系建立的现实需求。电信数据具有覆盖人群广、数
烟草(Nicotiana tabacum L.)苗期受到持续低温胁迫容易发生早花,进而导致烟草有效叶片数减少,这不仅影响烟草的长势,更影响其产量和品质。探究苗期低温导致早花的相关分子机理显得尤为迫切。本研究从油菜素内酯信号转导途径和花发育两个生物学途径角度,以油菜素内酯信号转导途径和花发育相关基因为切入点,检测茎尖发育动态观察和相关基因在茎尖中相对表达量,深入探究苗期低温处理对植株花芽分化时间和现
<正>达喜(铝碳酸镁)是兼有抗酸和抗胆汁作用的胃粘膜保护剂。在胃内崩解后,其活性成分铝碳酸镁释放,形成层状网络晶格结构,沉积在食管、胃及十二指肠粘膜表面形成保护层,中和
随着经济的不断发展,我国生产力得到明显的提升,农村经济发展水平不断提高。农村土地流转的实现及实施已成为提高土地利用率、使农村经济发展效益得以提升的一种集中体现。电
土地利用信息的分析是土地调查和检测的一个重要方面,是反馈土地管理政策、检验土地管理效率的一个重要手段。针对传统的模式识别分类方法,其分类结果由于遥感图像本身的空间
根据冶金矿山相关设计手册和选矿厂除尘设计工程经验,对马钢南山矿业公司移动卸料车除尘系统进行了改造,增加了移动通风槽及移动卸料口跟踪吸尘。系统改造后,移动通风槽除尘
乙型肝炎病毒(HBV)感染是我国严重的公共卫生问题,耐药率高是我国慢乙肝抗病毒治疗面临的重大挑战。针对我国慢乙肝防治面临的临床诊断和治疗等重大问题,南方医科大学侯金林教授
报纸