支持批量计算与流式计算的大数据系统研究与实现

被引量 : 0次 | 上传用户:scutzq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据中包含着海量信息,对海量信息进行分析挖掘处理,提取的价值信息可以帮助用户更全面、更深层次的洞察业务流程,提升企业决策力。大数据计算模式研究方面,目前主要是对单种计算模式的研究,然而,现实应用中多数应用只使用一种大数据计算模式是无法满足所有的业务处理需求,因此,研究并实现既支持批量计算又支持流式计算的双模式计算架构,是实现业务发展的必然要求。本文主要从系统理论模型、大数据成熟度模型、双模式计算架构、架构应用中的算法及模型、系统设计及实现等方面展开研究。本文完成的主要工作有:1)扩展了大数据成熟度模型。通过对现有大数据成熟度模型的分析研究,结合大数据发展的实际需求,从大数据相关技术发展角度对现有模型进行扩展,设计了二维大数据成熟度模型,并对模型中的各个组成模块进行了说明。2)设计了大数据双模式计算架构。对大数据的两种计算模式进行了研究,总结了两种计算模式的优缺点,结合二维大数据成熟度模型,设计了大数据双模式计算架构,并对架构的工作原理及工作流程进行了说明。在此基础上,设计并验证了一组架构应用中的算法及模型,主要有动态负载均衡算法、多源异步数据融合算法、数据拟合算法、多粒度生成算法和业务重要度模型。3)提出了证券数据三维模型。本文选择大数据重要应用之一的金融证券行业作为应用场景,并对架构的可行性进行了验证。在现有大数据理论基础上,结合证券行业的特点,提出了证券数据三维模型,并利用商空间理论对模型中的时间维和空间维进行了多粒度表示。4)设计并实现了证券大数据分析系统。在大数据双模式计算架构基础上,设计了证券大数据分析系统,并选择股票数据为例,对系统的可行性进行了验证。本文以中国股市A股股票交易数据作为实验对象,对系统性能进行分析验证,实验结果表明,本文提出的双模式计算架构可以很好的满足股票交易的需求,筛选出的潜力股平均涨幅要高于大盘涨幅,证明本文提出的大数据分析系统具有可行性。
其他文献
汽车轻量化对实现节能、减排的低碳生活具有愈来愈重要的作用,其中汽车铝化是汽车轻量化的重要途径,提升6000系车身用铝合金的成型性能和时效硬化性能对解决异形件的成型问题
配位聚合物(CPs)或称为金属有机框架(MOFs)作为新型的分子功能材料,不仅具有丰富的拓扑结构,而且在气体储存与分离、光学、磁学、催化、药物缓释等方面有很大的应用潜力,受到
目的:系统评价咖啡摄入与肝细胞癌发病风险的关系。方法:应用计算机检索CBM、CKNI、万方数据库、Pub Med、MEDLl NE、EMBASE、OVID、Cochrance等电子数据库,收集2014年9月前
猪脾为猪科动物猪的脾脏,别名联贴(《纲目》)、草鞋底(《随意居饮食谱》)。猪脾味甘,性平,无毒;归脾、胃经(《本草图经》)。宋徽宗时官方编篡的《圣济总录》记载:猪脾“治脾胃气弱”。明
期刊
《会计电算化》作为我校会计电算化专业的一门必修课,其任务是通过教学使学生掌握电算化的基本理论知识和基本实践技能,从而为技能普测和人人技能比赛打下坚实的基础。但是目
随着社会经济的发展,信息网络时代的全面到来,数据中心作为在网络的基础设施上进行传递、展示、加速计算以及存储数据信息的工具也相应得到了快速的发展。随着数据中心的不断
中国宗藩制度是一种维系周边族国关系的古老制度。中韩宗藩关系源远流长,在中国与周边族国交往史中最具典型性与代表性。中日甲午战前,中国与李氏朝鲜之间沿袭已久的宗藩关系面
<正>《3-6岁儿童学习与发展指南》(以下简称《指南》)中明确提出"幼儿园教育应当以游戏为基本活动",同时强调"地方各级教育行政部门要制定相关配套政策,采取有效措施,严禁幼
1985年,纳吉等人提出"伴随性词汇习得",该研究是在英语为母语的研究中提出的,随后发展到英语为二语的习得研究中。20世纪90年代国内研究发端于心理学界对汉语儿童母语习得的
通过数值计算,研究了底板支护和注浆加固底板后深部软岩巷道两帮围岩的稳定性.计算结果表明,加固软弱底板后巷道两帮围岩变形量减小,尤其是巷道两帮下部围岩变形量减小幅度较