【摘 要】
:
随着大数据处理技术不断发展,流式数据日益被人们所重视,并在多个行业领域体现出其价值,这为流数据处理技术提供了广阔应用空间,也带来了更多挑战,如何合理利用当前主流的流计算技术平台、有效整合并充分利用特定行业各类流数据价值,已成为当前流数据计算应用所面临的主要问题。本文首先介绍了流计算相关技术研究现状和银行业流数据应用背景,接着分析对比各主要流数据计算平台优缺点,然后结合国内某商业银行流数据应用场景分
论文部分内容阅读
随着大数据处理技术不断发展,流式数据日益被人们所重视,并在多个行业领域体现出其价值,这为流数据处理技术提供了广阔应用空间,也带来了更多挑战,如何合理利用当前主流的流计算技术平台、有效整合并充分利用特定行业各类流数据价值,已成为当前流数据计算应用所面临的主要问题。本文首先介绍了流计算相关技术研究现状和银行业流数据应用背景,接着分析对比各主要流数据计算平台优缺点,然后结合国内某商业银行流数据应用场景分析,设计实现了基于Kafka、Storm和巨杉数据库的银行在线交易服务系统,并就如何确保该系统流计算事件顺序一致性、如何提升流计算任务调度效率、如何实现多节点计算任务动态负载均衡三个关键问题,分别提出和设计实现了相关处理机制,最后针对这些处理机制和系统整体实现情况进行了测试验证。本文主要开展了以下几个方面的创新工作:(1)为了确保金融交易流数据处理在事件顺序上的严格一致性,设计实现了基于事件时间戳对比的流计算防乱序机制ETBC(Event-Time Based Comparison)。实验结果表明,ETBC防乱序机制能够可靠地识别乱序记录,并有效阻止对乱序交易记录的数据整合。(2)针对Storm默认任务调度器分配策略单一的问题,为提高系统处理性能,设计了基于单节点优先策略的拓扑任务调度算法SNP(Single Node Priority),并基于该算法实现了单节点优先策略调度器SNPScheduler。实验结果表明,SNPScheduler达成了跨节点任务分配最小化的效果,性能明显优于Storm默认调度器DefaultScheduler。(3)为了提高Storm集群各节点任务均衡负载程序,设计实现了基于集群从节点Slot资源使用率的动态负载调整机制SUDLA(Slot-Usage Based Dynamic Load Adjustment)。实验结果表明,SUDLA负载动态调整机制在兼顾拓扑任务跨节点分配最小化的基础上,实现了各节点匀衡负载最大化,提高了集群资源使用率。
其他文献
1、按经营商品大类确定责任单位。基层外贸企业要负责组织输送出口货源,完成对省(市)级出口企业的供货任务,其经营范围广,品种繁杂。据此特点,要对企业经营品种细化、分类,合
债务重整是指因债务人资金周转困难、利息过高或经济环境的变化等原因,造成债务人无力按原协议还债。而债权人为了避免更多的经济损失,同意对此作出让步的过程。早在70年代,
随着农业经济的不断发展,农机化事业的发展能否适应当前农业改革、发展的需要,能否成为农业发展的主力军,是我们必须正确面对的问题。在市场经济飞速发展的今天,作为以大型机械武
企业党组织学习贯彻党的十六届四中全会精神,关键是要将提高执政能力的要求转化为引领发展的本领。在科学管理、民主管理、依法管理、推进企业可持续发展上强素质,在为国家贡献
对篮球专项速度素质的概念、特征、影响篮球专项速度素质效果的因素及其训练方法进行了综述,指出发展篮球专项速度素质方法手段的选择一定要与篮球专项技术及动作结构的特点相
各省、自治区、直辖市人民政府,国务院各部委、各直属机构: 为了深化投资体制改革,建立投资风险约束机制,有效地控制投资规模,提高投资效益,促进国民经济持续、快速、健康发
语文课文都带有作者的审美情感倾向,体现着作者的审美观念。在语文教学中,有许多让人称道的艺术形象.栩栩如生的人间佳话,强烈感人的抒情色彩。语文教师在教学中要让学生不断感受
碳化硅颗粒增强铝基复合材料(Silicon Carbide Particulates Reinforced Aluminum Matrix Composites,SiCp/Al)以其优良的强度、刚度、耐疲劳、低密度、低热膨胀系数等综合性
基于信息使用者对会计信息及时性的要求,以及会计电算化的产生发展、网络信息技术在各个领域的应用推广为信息的迅速传播提供了可能,会计报告的提供突破了传统的书面形式,开发出
目的:探讨使用阿司匹林肠溶片联合硫酸氢氯吡格雷片治疗冠心病心绞痛的效果。方法:将2017年3月至2018年4月期间济宁市第一人民医院收治的72例冠心病心绞痛患者随机分为对照组