面向用户访问分析的物流公共服务平台日志处理系统的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:a15892465043
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国经济的不断发展,物流行业也增长迅猛,物流公共服务平台每天的访问量也在飞速增长。海量的访问日志数据看似杂乱无章,实则蕴藏着海量用户的各种行为习惯。平台通过对用户与网站交互过程深层次信息的挖掘,助力物流公共服务平台提供更好的服务、满足更深层的需求、留住更多的用户。因此本文具有为为平台提高物流企业效率、降低成本的实际意义。本文从用户访问日志入手,设计并实现了一套面向用户访问分析的物流公共服务平台日志处理系统,它涵盖了从日志收集、存储、分析到展示的过程。本文主要对以下几点进行了探索:(1)对文中涉及的技术进行了研究。对本文所涉及的访问日志、Flume和Hadoop等技术概念进行了研究。主要包括访问日志的作用及内容,Flume工具的架构原理和特点和Hadoop的相关技术。(2)对面向用户访问分析的物流公共服务平台日志处理系统的需求进行分析。针对当前平台无法存储和分析海量数据、数据利用率低等问题,结合用户访问日志的内容,得到解决相应问题的需求,对系统的功能提出了相应的需求指标。(3)完成面向用户访问分析的物流公共服务平台日志处理系统的设计和实现。系统将由采集存储、清洗过滤、分析挖掘和数据展示四个模块构成,并给出各个模块的设计方案。实现过程则对各个模块的功能在技术上进行实现,给出了相应的代码和处理逻辑。最后搭建了一套基于Hadoop的系统实验环境,通过实现的功能模块测试相应的功能,并对可视化的结果结合物流公共平台给出了分析。通过分布式计算等技术来对物流公共服务平台的用户访问日志进行存储和分析,解决了传统技术手段在面对海量数据时分析能力不足的问题。它的分析结果可以帮助平台知晓当前的业务发展状况,网站各页面访问的热度,用户在地理位置上的访问分布情况等,为管理者提供数据的支持。
其他文献
目的:研究肉苁蓉总苷 (GCs)对阿霉素 (ADR)所致小鼠心肌线粒体损害的保护作用。方法:对各实验组小鼠心肌细胞进行超微结构观察 ,并应用体视学方法对心肌细胞的线粒体体密度 (
手部路径跟踪和关节轨迹规划是机器人应用领域中一个非常重要的课题。在以往的研究中,往往是通过在设定的路径上增加节点数和路径分段数来提高机器人手部跟踪设定路径的精度,
随着计算机的普及,网络技术的发展,互联网上的大量信息可以为化学教学提供丰富的资料.它不仅可以充实课堂内容,还可以培养学生自主学习能力、增加课堂的实践性与趣味性性等等
针对多种故障类型的特征属性相互交叉导致故障难以辨识的问题,提出一种考虑相邻点之间成为近邻点概率的新度量函数。将新提出的近邻概率距离(Nearby Probability Distance,NP
目的探讨多烯磷脂酰胆碱治疗非酒精性脂肪性肝病的临床效果。方法选取本院自2012年6月~2013年6月收治的98例非酒精性脂肪性肝病患者,随机将其分为观察组和对照组,各49例,给予
针对循环流化床锅炉旋风分离器、返料器存在的问题,进行了应用高效新型蜗壳式旋风分离器,优化设计降低旋风分离器中心筒直径,提高分离器烟气出口的流速等改造,并取得了良好的
中西部基础教育课程改革中,教师的专业素养和教育理念,教材和课程结构、教学方式等变革方面,给一线教师带来的新要求和新挑战更加明显。如何促进教师专业发展、有效提升教师队伍
药品安全涉及千家万户,是民生焦点。药品安全监管如何在新的监管体制下得到加强,成为药品监管部门以及药品监管人员共同关心的课题。笔者认为,加强药品安全监管需要从协同治理出
学位