云计算在数据分析系统中的应用研究——以电子商务网站交易数据为例

来源 :首都经济贸易大学 | 被引量 : 0次 | 上传用户:zxzc10
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为现代新型的商业模式,电子商务业务蓬勃发展,丰富的电子商务业务每天都会产生大量的重要信息以及海量数据,这类数据特点是具有不确定性、异构性以及非结构化。其复杂程度为海量数据挖掘提出了新的挑战,对电子商务公司的储存能力、数据分析能力以及计算能力提出了更高的要求。  云计算将计算资源整合在一起,形成了一个强大的“资源池”,通过虚拟化、并行计算等云计算技术使资源可以被动态增减动态分配,更好的解决数据难以组织和处理的问题。电子商务公司在对业务数据进行挖掘的过程中的瓶颈问题是海量数据处理与计算,传统的数据分析系统会因为数据量的激增而降低运行的速度。云计算则擅长于处理海量数据和大规模的数据计算。将云计算技术运用到电子商务分析系统中,可以提高当前电子商务公司对海量数据的分析能力。  在本文中,借助云计算技术对传统电子商务数据分析系统进行改进,设计了基于云计算思想的电子商务海量数据分析系统。从两个方面——系统架构和关键算法进行深入设计。通过对传统电子商务数据分析系统的数据来源、系统架构、系统功能以及遇到的瓶颈问题进行分析,提出了一个基于云计算思想优化后的电子商务海量数据分析系统的架构设计。并针对原有数据处理算法的不足,将云计算的MapReduce思想用于算法改进,充分利用云计算并行处理的思想,提出了基于拆分机制的海量数据处理算法;改进原有调度算法不考虑任务优先级的缺点,提出了基于贪婪算法的数据处理任务调度算法。在此改进之上,得到了显著的加速效果,提高了原算法的运行速度。  在此基础上,搭建了基于云计算平台的电子商务海量数据分析系统的测试环境,选择电子商务运营网站的订单数据为测试数据,对以上提出两种改进后的算法进行验证,测试结果显示改进后的架构和算法取得了优秀的加速比效果,成功的解决了由于计算量大而造成的计算效率降低的问题。
其他文献
本文采用2000年12月至2015年7月的WTI原油期货价格的月数据作为研究对象。定性分析部分,首先回顾了国际通行的商品期货定价理论和原油价格预测方面的研究现状,接着从基本面和经济金融等角度总结了影响原油中长期和短期价格波动的主要因素,为后面的实证分析确定模型输入变量提供逻辑基础。实证分析中,首先对ARIMA、传统多元线性回归、人工神经网络等广泛应用的单一模型的原理、优点和局限性做了分析,然后将多
技术分析自19世纪诞生以来,已成为投资者投资决策使用最多的工具之一.技术分析方法种类繁多,使用较多的是形态分析法和指标分析法.对于指标分析法,该文以上综合指数(1990年12
《电子世界》2001年第2期《车辆白金触点通用电子转换器模块》一文刊出后,先后收到不少读者来信、来电询问有关改装方面的技术性问题。特别是新疆、沈阳、山西、山东、浙江
本文所进行基于无线传感器网络节点的研究是围绕ATme128L单片机和EM2420通信模块进行的,主要介绍了两者之间的SPI总线接口通信的设计,提供了软件编程实现。 The research of
编者按>>3月30日,建信基金管理公司又一次站在了基金业最高的领奖台上。在2013年中国基金业的“奥斯卡”奖——金牛奖评选中,建信基金蝉联 “金牛基金管理公司”奖。同时,旗下产品“建信核心精选股票基金”和“建信优势动力封闭基金”分获“三年期股票型金牛基金”奖和“三年期封闭式金牛基金”奖。这些奖项不仅是对建信基金的投资文化与投资业绩的肯定,更是对其多年来坚持价值投资和不懈为持有人创造满意投资回报的褒
通过对康定斯基 《论艺术的精神》 一书中,对抽象艺术的概念和其艺术源流的简要分析,从而对现代建筑的建筑形式美以及建筑的结构来进行分析和探讨,在建筑形态中含有大量的“
发展高科技,实现产业化,是带动产业结构升级,大幅度提高劳动生产率和经济效益的根本途径,是实施科教兴国战略的突破口。高技术产业化是国际经济和科技竞争的制高点,各国都在不断加
通过对水泥土搅拌桩的桩身的研究,分析了水泥土搅拌桩的施工过程、 固结原理以及影响桩身的强度问题,得出了水泥搅拌桩的固结是由水泥的水解和水化反应、 离子交换和团粒化作
该文框架结构如下:引言,简单介绍对外直接投资保险制度的概念、特点及与一般商业保险的同异点.第一章,论述对外直接投资保险制度在美国产生的历史背景、演变过程以及日本、联
房屋是人们居住和工作的重要场所,房建工程的质量对于人们的生命财产安全有着直接的影响,是关系到房屋功能的重要因素.因此,本文简要论述了目前房建工程质量管理的原则和阶段