基于Hadoop的银行客户征信数据分析系统

来源 :重庆师范大学 | 被引量 : 6次 | 上传用户:klyh2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信用的构建是国家经济的基石。最近几年,我国的大数据,人工智能等技术正呈现出欣欣向荣的发展态势,衍生出了很多创新商业模式,比如移动支付、P2P网贷、互联网金融平台等多种新型金融商业模式。然而,毋庸置疑的是互联网金融领域仍然还处在发展初期。在数据量迅猛增长的同时,一系列的问题已经暴露出来。互联网金融业务类型和工作流程越来越复杂,对数据价值的探索越来越深入,传统的的商业智能分析软件难以高效地处理海量、各种形式的数据。为了解决这些问题,设计并实现了一个基于Hadoop的互联网银行客户征信数据分析系统,主要由四个核心部分,ETL(数据提取、转化、加载)、数据建模、工作流调度和数据可视化,研究贡献有以下三点。第一,为了达到在征信数据分析系统数据处理效率的提升,设计并实现了基于Hadoop的一站式银行金融征信数据分析系统。该系统相比传统数据仓库,Hadoop架构下的HDFS能够支持海量数据量存储,MapReduce能够支持对海量数据的分布式处理,并且基于Hadoop的数据仓库可以支持多种数据格式,如图片、视频等。并且该系统能通过良好的调度设计进行高效的处理工作流,在实际生产过程中具有很强的现实意义。第二,为了在HDFS上面能够更节省空间减少数据冗余,效率更高的进行数据处理。在构建数据仓库中应用Data Vault模型和FS-LDM模型,通过使用上述模型,有效的减少重复取数和重复数据的存储,能够提高数据仓库的运行效率,并且支持业务数据扩展,节约数据仓库的资源。第三,利用构建十级分类的模型,实现了对征信的评级。从中可以研究分析不同个人特征数据(即大数据分析)相对应的违约率,通过数据加工的方法来建立征信信用等级体系,掌握不同个人特征对应影响到违约率的程度,可以用来征信上报和来指导风控审批业务的开展。
其他文献
目的讨论开展治疗药物监测(TDM)的临床意义,查找存在不足,并思考解决问题的对策。方法全面总结回顾该院TDM工作开展的基础、主要内容、药学服务举措及教学与科研创新成果,并
党的十八大上,以深入贯彻和全面落实科学发展观为基础,强化美丽中国建设,尤其是对生态文明建设更加关注和重视。生态文明新时代,赋予了林业党政思想工作新的使命和职责,它要
[目的]对比研究经皮微创手术和传统开放手术的临床疗效。[方法]自2006年4月~2008年12月治疗49例新鲜胸腰椎骨折患者,其中21例行经皮微创手术,28例行传统开放手术,比较围手术期参
鼠曲草,为《本草拾遗》所载之名,又称鼠耳草、鼠耳或鼠鞠草,因其叶形如鼠耳而得名。各地命名也很多,有称其为天青地白,因其叶面为青色,叶背为白色;有称为清明草、清明蒿,因在
党的十八届四中全会对深入推进依法治军从严治军,提出了明确任务、具体要求和总体部署。学习贯彻十八届四中全会精神,深入推进依法治军从严治军,必须深刻理解依法治军的科学
以红柳为材料研究蒸汽爆破预处理强度系数lgR对木质组分和纤维素酶水解性能的影响。结果表明:蒸汽爆破处理对红柳中纤维素和木质素含量的影响并不显著,但是它可以有效破坏红柳
<正>溶出伏安法因为有较高的灵敏度以及简单快速分析的优点而备受关注。实际应用中,由于重叠峰、金属互化物、强背景电流的存在,该方法的使用受到了限制。多元校正方法的应
一直以来,社旗县政协坚持做到把关注民生作为政协履职的着力点,采取各种方法和措施,收集整理社情民意信息,帮助县委、县政府更好地体察民情、了解民意,为群众解决一些事关他们切身
目的:探讨青刺果分离提取物对金黄色葡萄球菌、大肠杆菌、沙门氏菌3种常见致病细菌的体外抑制作用.方法:应用滤纸片扩散法和微量肉汤稀释法(microbrothdilution)分别检测青刺果分