论文部分内容阅读
计算机应用未来的发展方向是对数据的深度处理,在大数据概念提出以后,如何对研究领域中的数据进行采集、处理、挖掘、应用,成为各个行业研究的热点。电子商务改变了传统的经营模式,是互联网最成功的应用之一,而电子商务中产生的大量数据,具有十分重要的应用价值。1、针对目前在电子商务领域中,数据分析和应用并不十分广泛,而且一般只关注于某一方面研究分析,无法对数据进行全面分析处理的缺点,提出了电子商务数据分析平台模型,该模型主要包括数据源层,操作数据层,数据集成层,数据处理层,数据应用层五个组成部分,其中数据源层由多个异构数据库组成,分别存储电子商务系统运营过程中产生的不同类型数据。2、在总体架构中,操作数据层是对数据源层进行提取,主要是最近一个时期的“热”数据,并可实现对数据细节的查询;数据集成层是根据分析应用的需求,将操作数据层中的数据进行集成处理,主要是为数据的应用提供基础;数据处理层是采用数据挖掘、数据联机分析处理、数据统计等各类分析方法,对集成后的数据进行处理;数据应用层是根据用户的业务需求构建数据处理应用,并调用各类数据分析方法,获取分析结果。为了使电子商务数据分析平台具有对海量数据进行处理的能力,在平台具体实现方面引入了 Hadoop平台技术,利用基于HDFS的分布式存储模式,提高对非结构化数据的存储和处理能力,同时也拓展了系统的扩展能力。3、针对对于大量数据的处理效率问题,采用Map/Reduce并行运算技术,将该技术与电子商务数据分析平台相结合,作为对数据挖掘进行处理的工具,并对Apriori算法进行了改进,提高了分类数据挖掘的运算效率;设计了电子商务数据分析平台应用层的功能架构,通过对电子商务数据分析业务流程的讨论,确定了系统应用的目标,讨论了功能设计方案和实现过程,并通过测试验证功能的有效性。电子商务数据分析平台采用分层架构模式,充分利用各类智能数据处理技术对电子商务平台中的数据进行分析,以满足用户不同的应用需求,为电子商务系统的管理者改进经营模式,更好地维护客户关系,提高经济效率提供了有力的支撑工具,具有较强的实际应用价值;同时,对数据挖掘算法进行了研究和改进,具有一定的理论研究价值。