基于Hive和Apache Kylin的生产大数据聚合与管理系统的设计与实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:zlq5626
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
《中国制造2025》规划提出了建设制造业强国的目标,注塑工业作为制造业的重要组成部分,也在不断地改造与升级。目前注塑工业的信息化建设还在普及中,一些注塑生产企业开始注重工业软件系统对企业的生产控制和运营管理的重要价值,并逐步构建起一条从机械设备的自动化系统到工业软件系统的制造生产信息处理链。不过,由于信息化建设的长期性、认识的片面性、系统实现标准的不一致性、部门管理的封闭性等原因,导致了“信息孤岛”问题的出现。这使得大量的生产数据未能得到充分的整合、共享与应用,从而严重制约了以数据为驱动的智能生产模式的发展。本文针对上述注塑工业信息化建设过程中出现的“信息孤岛”问题,设计并实现了一个生产大数据聚合与管理系统来对注塑生产过程中的相关数据进行统一管理,其利用OLAP on Hadoop技术和可视化技术将汇聚的数据反馈到各个孤立的工业软件系统中,从而实现工业软件系统的互联互通并为注塑生产企业提供以数据为支撑的决策优化支持。本文有以下四部分主要工作内容:1.针对生产数据存在的数据存储不一致的问题,利用维度建模技术逐步构建起注塑生产大数据Hive数据仓库系统,实现数据的统一存储。2.针对工业软件系统存在的异构系统的数据融合问题,利用ETL技术通过数据抽取、数据清洗、数据转换、数据加载等步骤,将源数据以一致的方式存储到Hive数据仓库中,实现系统的互联。3.针对Hive存在的高耗时查询的问题,使用Apache Kylin引擎对数据仓库中的生产数据进行预聚合处理来提高数据的查询速度,并在该引擎的基础上进行功能扩展,实现自动化地构建和管理数据立方体的需求。4.针对工业软件系统存在的数据难以共享和应用的问题,通过一个服务端逻辑架构来构建基于数据立方体的数据可视化平台,并提供便于工业软件系统集成的Web服务支持,实现系统的互通。本文针对注塑工业中的“信息孤岛”问题实现了生产数据的整合、共享与应用,有助于推动工业互联网的建设进程。
其他文献
目前,许多数学课堂教学呈现一种表层化教学倾向,主要体现在两个方面:一是对于一节课而言,教师没有给学生充分的思考时间,以教师的讲解代替学生的思考,学生对知识理解肤浅。二
2015年中央1号文件《关于加大改革创新力度加快农业现代化建设的若干意见》中明确提出"加快发展草牧业",为我国农业供给侧结构性改革和草业发展提供了巨大推动力和政策支持。
给出了把真分式分解为部分分式之和的一个简便方法.
随着“一带一路”倡议的提出,广西成为面向东盟的国际大通道,成为中国与东盟国家交流的桥梁,为广西发展跨境电商带来新机遇。本文基于广西的区位优势,首先阐述了“一带一路”
在小学数学教学中,类比推理方法有助于引导学生温故知新,实现知识迁移;引导学生化难为易,突破学习难点;引导学生猜想验证,探究数学规律,使不可能成为可能。学生在运用类比推
营运能力是公司对自身资源的利用和整合。营运能力越好,公司的发展前景越好。在经济全球化的趋势下,公司的发展对自身的营运能力也提出了较高的要求。以SH公司为研究对象,选
近年来,笔者赴云南省白马雪山和梅里雪山等地进行了麻蝇科种类的采集和调查工作,其中采集了较多的阿坝麻蝇,并首次发现了该种雌性标本;在标本检视过程中,发现该种原始报告不完善,其
据国家统计局2018年年初的数据公布,2017年我国GDP总量已超过82万亿元人民币,全年增速达到了6.9%。我国企业发展势头正呈现一片欣欣向荣的景象。然而,近年来,我国食品安全事
期刊