基于Hadoop的线缆生产的大数据服务平台的设计与实现

来源 :电子科技大学 | 被引量 : 10次 | 上传用户:jianbbk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网技术的快速发展,自动化的水平不断的提高,使得工业制造中所产生的数据量成几何级数增长,而且产生的数量类型呈现结构化、半结构化、非结构化特点。传统的数据存储系统和数据处理方法面对当今的工业物联网下的大数据异构多源海量性特点,往往不适用。本文以线缆制造为研究背景,针对线缆制造中所产生的数据同样具有多样化、复杂度高、数据量大等特点,进行了线缆生产大数据平台的方案设计,并采用物联网数据采集和传输技术、主流的Hadoop大数据处理技术以及改进的关联规则Apriori算法,实现了基于Hadoop的线缆生产的大数据服务平台。本论文的主要工作有如下几方面:(1)大数据处理技术的研究与Hadoop环境搭建。研究了现有的主流的Hadoop的大数据处理技术,主要是Hadoop的MapReduce和HBase数据库,并完成了在阿里云上Hadoop的集群和HBase集群的搭建。(2)Apriori关联规则算法的研究、改进和实现。根据本大数据服务平台的需求,选择Apriori关联算法对海量生产数据进行关联性分析。首先对Apriori的算法原理进行分析,结合本平台的Mapreduce计算模型的特点,对Apriori算法进行改进,通过仿真和测试后,对实验结果数据进行分析,得出了改进算法的性能优于传统算法,更适用于大数据处理的结论。最后在平台中数据挖掘模块实现改进Apriori算法,并针对线缆的生产数据进行关联性数据挖掘,并将数据结果进行展示和分析。(3)线缆生产的大数据服务平台的设计与实现。针对线缆生产的大数据服务平台进行了需求分析,并分别对生产数据的获取模块、分布式数据存储架构模块、现场生产数据的实时监控、订单预警数据分析等功能模块进行设计。对于平台的数据库设计,基于具体的线缆生产的数据关系,对生产数据分别进行关系数据库和HBase数据存储模型的设计。对于平台的软件框架设计,主要采用与Hadoop相结合的Spring MVC框架。其中在生产数据存储部分,针对生产数据的请求上传次数频繁制约数据的实时性问题,采用ActiveMQ消息队列技术处理上传数据。分布式数据存储框架部分,通过设计MapRedcue计算模型进行对上传数据的分布式存储。在实现部分,借助于搭建的Hadoop平台,结合Spring MVC框架完成平台实现。论文设计的线缆生产的大数据服务平台满足线缆生产的相关需求,所挖掘的生产参数的相关规则,具有指导生产的意义。
其他文献
主要针对当前大数据背景下工业信息化中的数据挖掘技术应用情况进行研究,客观阐述数据挖掘技术的要点所在,分析工业信息化中数据挖掘的作用,通过研究可以发现,运用数据挖掘技
钢琴视奏是钢琴学习、练琴、表演以及提高钢琴演奏水平的一个重要环节。其关键主要在于对键盘位置的熟悉程度、对乐谱转化为键盘位置的转换速度以及对所视奏乐曲风格语言范围
通过对生产过程、伤亡事故类型和作业现场生产条件分析,探讨了岩土工程勘察单位钻探作业中危险危害因素存在的部位,结合《岩土工程勘察安全规范》(GB 50585—2010)提出钻探作
<正> 一、前言发电厂运行管理的目标是保证机组安全经济运行,因此要求运行人员一方面要严密监视机组运行的安全性,及时发现并消除异常运行情况,减少事故和非正常停机;另一方
随着我国经济的迅猛发展,我国的科学技术水平不断进步,我国在地质钻探方面也取得了很大的成就,为加快我国的经济发展、提高我国的国际地位做出了无比重要的贡献。但是我国的
<正> 在电力变压器的制造中,除了向高电压、大容量的方向发展外,近年来为提高变压器质量也做了许多开发工作且成效显著.如降低损耗、降低噪声电平、针对不同过电压而提高介电
在信息时代高速发展的今天,传统旅游业的格局已经被打破,人们的消费需求也已发生变化。在实现资源保护数字化、经营管理智能化、产业整合网络化和参与互动体验化方面,新时期旅游
多种信息安全产品之间的协同工作已经成为计算机安全软件的发展方向。针对当前综合安全监控软件所存在管理功能弱、信息整合度低的问题,提出了一种多代理监控平台的解决方案,着
<正> 一、50万 KW 发电设备1.历史背景英国在制造20万 KW 和35万 KW 的发电设备成熟之前,中央电力局(CEGB)就订购50万 KW 的发电设备,这好似太超前了.然而,图1的曲线告诉人们
研究动漫形象商品化权极具挑战,因为国内学者对商品化权研究目前还处于理论探索阶段,比起国外要晚很多。因此,当发生动漫形象侵权问题时,我国主要采用现行的法律进行综合解决