【摘 要】
:
随着数据呈现爆炸式的增长,对数据的处理也日益重要。继云计算发展后的又一次引领全球的技术变革,大数据的概念不断的深入到社会生活的各个角落。随着大数据实践的不断深入,
论文部分内容阅读
随着数据呈现爆炸式的增长,对数据的处理也日益重要。继云计算发展后的又一次引领全球的技术变革,大数据的概念不断的深入到社会生活的各个角落。随着大数据实践的不断深入,以Hadoop平台为核心的大数据处理技术也得到了长足的发展和更新,Hadoop的生态圈也日趋丰富,为不同场景和不同的功能需求提供了丰富的工具。电商行业随着业务的不断发展,其积累的数据也越来越重要,特别是在规模不断发展的情况。如何处理好目前平台所存储的订单和仓库数据成为电商行业的重要问题,也受到各大电商行业的公司越来越关注大数据的发展和使用,利用大数据的驱动力,使其成为公司的新的增长突破点和核心竞争力。本文主要研究电商离线数据挖掘系统的设计与实现,在深入对Hadoop大数据处理平台的分析下,提出了基于Hadoop平台的电商离线数据处理系统的系统方案。此方案主要利用HDFS作为海量数据的存储系统,同时利用Hadoop提供的MapReduce计算框架做为数据计算模式。解决数据的存储和计算模型后,着重研究了 Hadoop的数据处理模型,为电商离线数据挖掘系统选择了合适业务的数据处理模型。本文的电商离线数据挖掘系统在详细的需求分析下,提出了基于Hadoop数据处理平台的系统架构。电商离线数据挖掘系统主要分为七个主要的模块:数据转换存储模块、数据ETL模块、数据视图展现模块、数据计算任务流管理模块、平台监控模块。本文对这七个主要模块进行了详细的设计和实现。最后基于此数据挖掘系统完成了某电商公司的订单数据的ETL和入库,并在此基础上进行基本订单数据挖掘实例的测试。
其他文献
随着我国中学英语教育研究的深入推进,“语言是文化的载体,学语言就是学文化”的说法不仅被历来的英语教学大纲和英语课程标准所认同,也已被广大中国英语教育工作者所接受。
通过各种各样的刺激可以在手部或臂部肌肉诱发出一些反射,被称之为手肌反射.目前研究的刺激方式有:①肌肉的牵张刺激;②采用气流团对皮肤刺激;③对混合或单纯表浅神经的电刺
无线传感器网络是由多个传感器节点构成的自组织无线网络系统,它从周围环境采集信息,并将采集到的信息以多跳中继方式发送到汇聚节点或基站。由传感、数据处理、通信和电源子系统构成的传感器节点是无线传感器网络的关键组件,由于传感器节点能量有限,一旦能量耗尽很难及时补充,所以就需要在进行无线传感器网络路由协议研究或进行传感器网络部署时着重考虑能耗问题,使得节点能在较长的时间内保持正常的工作能力。此外,节点作为
该研究对某110k V变电站10k V备自投装置过负荷联切误动作事故进行了分析,总结了该站10k V备自投装置过负荷联切功能存在的缺陷,在过负荷联切动作逻辑上进行探讨并提出改进措
从古至今,船舶一直是海洋的最重要的载运工具,在各国保护海洋权益的今天,对于船舶的监控成为一项重要任务。由于遥感技术在空间领域的巨大优势,基于遥感影像的海上目标监测技
光通信领域的日新月异和激光技术的发展均离不开非线性光学的支持。其中,包括全光开关、波长转换器以及脉冲调制器等关键性器件的开发均和三阶非线性光学性质密切相关,因此,三阶非线性材料的研究是相关研究的重点。在众多的非线性材料中,包含高极化率离子或基团的氧化物玻璃材料因为具有优良非线性性能、低光损耗、高光损伤阈值和优良机械加工性能等特点,是非线性光学器件的关键材料。因此,设计与制备新型非线性氧化物玻璃具有
目的:探讨痛风石破溃创面患者使用超声波清创系统(ultrasonic debridement surgical system,UDSS)联合负压引流(vacuum sealing drainage,VSD)治疗的临床疗效及安全性。方法:
目的评估子宫内膜取样器获取子宫内膜活检组织病理诊断的准确性和组织样本的质量。方法收集北京大学第三医院生殖中心和妇科门诊需进行子宫内膜活检的患者157例,在接受常规分
时事政治作为大学生把握时代发展脉搏,了解国际国内发展趋势,适应社会发展的重要信息资源,在开拓学生视野,提升学生政治素养中发挥着不可替代的作用。当前我国发展进入新时代,社会主要矛盾发生重大变化,国家发展面临新的挑战。大学生是宝贵的人才资源,是国家未来发展的中坚力量。面对国家发展的新任务与新形势,加强大学生时事政治教育,坚定大学生社会主义信念,是高校思想政治教育发展的必然趋势,也是社会主义人才培育的必
太阳活动的观测和预报具有重要的科学意义和应用价值。太阳X-EUV成像仪是我国最新一代的太阳空间观测载荷,采用了国际独创的X射线与EUV射线两个波段成像系统一体化的设计,该仪器搭载在风云四号——地球静止轨道气象卫星上。探测器作为成像仪的关键元件,要求工作在低温环境下。为了给成像仪提供优于指标要求的温度水平和温度梯度,进一步保证成像仪能够获取优质的图像与光学参数,需要对整个探测器组件的低温热控技术进行