基于Storm的订单大数据实时监控系统

来源 :东华大学 | 被引量 : 0次 | 上传用户:hn_hcg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,实时有效地收集海量订单数据,帮助企业智慧地从数据中获取目标信息,能够更加有效的、有条理的制定相关业务的发展和改进方向,企业可以通过对海量数据进行二次开发利用,进一步地总结和处理数据,最终制定出更加符合用户需求、更加适用于市场的设计方案。Storm作为一套高效的、安全的、实时的大数据处理引擎被本系统使用,No SQL数据库Elasticsearch和Mongo DB则能满足对海量数据的高效存储与查询。本论文将基于Storm、Kafka、No SQL数据库Elasticsearch和Mongo DB设计和实现订单大数据的实时监控系统。系统将主要的数据保存在Elasticsearch中,将一些配置参数和时间戳数据保存在Mongo DB中;文件系统使用HDFS;采用Scala语言来编写代码;使用分布式消息队列Kafka来连接Storm中不同功能的拓扑,提高了系统的可靠性。在数据处理过程中,执行的操作名称、时间节点和部分中间结果会被记录到系统日志中,以便解决系统错误和提升系统性能,平台处理后的重要结果,可以通过Web页面以多种图和表的形式向用户展示,该展示网站具备搜索引擎,能够通过关键字和特定规则的语句搜索目标数据,还支持点击图标和标签进行快捷查找。整套系统部署在分布式集群中,具有高实时性、高效率、高容错性、可扩展等特点,结果数据展示网站功能强大,界面清晰简洁,用户体验很好,平台可以实时地监控海量数据信息的变化,从结构混合、复杂的、规模庞大的数据中,通过智能化的方法,挖掘出有价值的信息,从而创造出一定的经济和社会价值。
其他文献
对于幼儿园的小朋友而言,数学是很抽象的学科,但是数学又无处不在。培养幼儿的数学思维对他们以后的成长和学习有非常重要的意义,因此笔者结合幼儿的特点阐述如何实现幼儿数
<正>2006年3月15日,西门子工厂自动化工程有限公司(SFAE)迁址暨西门子Weiss电主轴维修中心开业庆典在北京举行。随着印有红色中国结背景板的徐徐拉开,西门子(中国)有限公司、
应用数字相敏检波新技术可提取淹没在噪声中的周期信号。文中论述了数字实现的基本原理,经仿真和应用研究表明,这种方法不仅能同时检测信号的大小和相位,而且检测精度高,特别适合
预应力混凝土结构中发挥重要作用的是预应力筋,通过对预应力筋施加预应力使结构预先起拱,以满足大跨度、大空间的使用要求。但是,基于混凝土的收缩徐变性能、预应力钢筋的松
<正>距今1500余年前中国匈奴族所创“大夏国”的一批重要文化遗存,最近经抢救发掘出土,为研究中国北方民族增添了极为珍贵的资料。 考古工作者去年9月至10月在毛乌素沙区南
小学阶段是学生接触数学的初级阶段。小学生的认识还处在表象的、具体的感性认识之上。在教小学数学时,教师一定要结合生活实际和具象事物来引导学生了解数学知识,积累感性认
小学生是一个正处于身心发展的特殊时期的群体,因此,小学班主任的班级管理工作是小学教育工作顺利开展的重要保证。此外,班主任还是联系学校、家庭和学生的重要纽带,这意味着
知道学生的学习目标、观测学生的学习、解释学生的学习是教师开展学生评价的组成要素,这三个要素构成了学生评价的分析框架。知道学生的学习目标是指准确理解课程标准规定的
该文梳理并讨论4种产生未来逐时气象数据的方法:度日法、补偿法、随机气象模型法及全球气候模型法,并着重阐述补偿法中变形法的原理和计算过程;使用西安的历史观测数据及IPCC
多年以来,中国式营销一直都不自信,中国企业一直努力成为跨国公司的好学生,企业的梦想是成为可口可乐第二、宝洁第二、IBM 第二。更有人认为,在改革开放30年后,中国式营销已