基于语义的金融行业大数据整合及处理技术

被引量 : 0次 | 上传用户:zhongguohuhu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,数据驱动的商业模式日益受到企业的青睐,通过对大数据的处理和分析,可以更好的进行商业决策、科学计算以及其市场趋势的预测等,数据的重要性日益突显。然而,大数据的一些新的特征给数据处理带来了新的挑战。目前,在金融领域里,分布广泛的金融系统每天都会产生大量的数据,而风险管理、预测等工作都需要对分散在这些系统中的大量数据进行采集、整合以及处理。一方面由于系统结构的复杂性,尤其是数据存储结构的多样性,导致了传统数据仓库技术无法对大量的异构数据进行整合及处理;另一方面,由于金融行业其行业的特殊性,常常受到各种外界条件的影响,例如合规、政策等,这些外界条件的变化将直接导致对数据分析策略的改变,从而影响到最终的结果。针对上述两方面问题,本文提出了一种可以对复杂金融环境下的异构数据信息进行整合及处理的基于语义的大数据处理系统。在数据整合方面,该系统通过语义技术将各种异构数据以语义资源的形式发布到语义本体库中,在语义层面上实现数据的查询与计算;数据处理方面,该系统通过采用Hadoop分布式计算框架以及MAP-REDUCE技术实现大数据的分布式计算,从而大大提高数据的处理效率。本文结构安排如下:第一章,结合大数据的面临的问题以及金融领域大数据背景,总结了金融领域面临大数据的面临的相关问题,并针对这些问题提出了基于语义的大数据处理系统模型;第二章,主要介绍了语义,数据整合,分布式计算等方面的相关技术;第三章,从层次结构上阐述了提出的系统模型;第四章,详细介绍了基于语义的关系数据整合及分布式查询方案的设计及实现,同时介绍了该系统数据采集方案;第五章,对基于大数据的分布式处理技术进行相关研究,同时对系统性能方面进行了相关测试分析及优化;第六章,总结全文。
其他文献
知识经济的发展更加依赖知识的积累与应用,更加重视知识的创新和运作。专利技术作为高端知识的代表,蕴含着巨大的经济和商业价值,因此,专利产业化法律问题研究具备深刻的现实意义
随着互联网技术的发展,网络中web页面的数量规模越来越庞大,在这些海量的web页面中,包含着许多用户需要的信息。通常情况下,能够为用户所直接使用的信息都是以结构化的形式组
在车身总布置设计过程中,需要优先考虑驾驶员的视野。然后在符合视野要求的情况下进行车身各个部件的位置的确定。汽车后视镜是汽车视野分析研究的一个重要组成部分,对于汽车后
<正> Krogh早在1908年就提出了在生理状态下,肺泡气氧分压(PAO2)和动脉血氧分压(PaO)之间存在着差异的概念,现将这一差异称为肺泡-动脉血氧分压差(Alveolararterial oxygen tensio
进入21世纪以来,英国政府对义务教育投入进行了声势浩大的改革。这些改革举措主要有:引入学校专门拨款,废除部分具体拨款;引入中小学生补助金,加大对处境不利学生的投入;简化
<正> 绍里亚山区和哈卡西亚各地下矿待开采的矿体为透镜状和柱状,厚度达80m,沿走向长度达1200m。矿体倾角70°~90°。矿石为少裂隙构造致密的磁铁矿,其普氏硬度系数为 f=8~18,
历史上,中国美术对日本美学审美观和艺术样式的确立与发展产生过深刻而广泛的影响,并已植入日本艺术家的审美思维之中。中国水墨画在镰仓时代(1185-1333)以前就传入日本。但,
本文基于《工业火药》发表过的有关论文内容,综合评述了除应该归入上节的那些属于感度试验(如殉爆试验和BAM式摩擦感度试验机试验)之外的其它性能试验法以及近二十年来的发展
目的探讨同种异体CD34+干细胞移植对急性心肌梗死(AMI)大鼠心功能的影响,同时评价干细胞移植的有效性和安全性。方法Wistar雄性大鼠29只,随机分成3组:干细胞移植组(10只),急