论文部分内容阅读
大数据中包含着海量信息,对海量信息进行分析挖掘处理,提取的价值信息可以帮助用户更全面、更深层次的洞察业务流程,提升企业决策力。大数据计算模式研究方面,目前主要是对单种计算模式的研究,然而,现实应用中多数应用只使用一种大数据计算模式是无法满足所有的业务处理需求,因此,研究并实现既支持批量计算又支持流式计算的双模式计算架构,是实现业务发展的必然要求。本文主要从系统理论模型、大数据成熟度模型、双模式计算架构、架构应用中的算法及模型、系统设计及实现等方面展开研究。本文完成的主要工作有:1)扩展了大数据成熟度模型。通过对现有大数据成熟度模型的分析研究,结合大数据发展的实际需求,从大数据相关技术发展角度对现有模型进行扩展,设计了二维大数据成熟度模型,并对模型中的各个组成模块进行了说明。2)设计了大数据双模式计算架构。对大数据的两种计算模式进行了研究,总结了两种计算模式的优缺点,结合二维大数据成熟度模型,设计了大数据双模式计算架构,并对架构的工作原理及工作流程进行了说明。在此基础上,设计并验证了一组架构应用中的算法及模型,主要有动态负载均衡算法、多源异步数据融合算法、数据拟合算法、多粒度生成算法和业务重要度模型。3)提出了证券数据三维模型。本文选择大数据重要应用之一的金融证券行业作为应用场景,并对架构的可行性进行了验证。在现有大数据理论基础上,结合证券行业的特点,提出了证券数据三维模型,并利用商空间理论对模型中的时间维和空间维进行了多粒度表示。4)设计并实现了证券大数据分析系统。在大数据双模式计算架构基础上,设计了证券大数据分析系统,并选择股票数据为例,对系统的可行性进行了验证。本文以中国股市A股股票交易数据作为实验对象,对系统性能进行分析验证,实验结果表明,本文提出的双模式计算架构可以很好的满足股票交易的需求,筛选出的潜力股平均涨幅要高于大盘涨幅,证明本文提出的大数据分析系统具有可行性。