【摘 要】
：
轴承制造业由于生产工艺和工序复杂多变,生产计划和物料派工难以预测,信息系统相互独立且数据结构不统一,存在数据实时采集困难,信息处理实时性差等问题。为解决上述问题,本文以浙江某轴承制造企业为研究对象,采用Kafka、Flink、HDFS等大数据技术,设计并实现了集成多源异构数据采集模块和基于Kappa架构细粒度流式数据实时处理模块的数据采集与处理系统,并成功应用于该轴承制造企业。主要完成工作概括如下
论文部分内容阅读
轴承制造业由于生产工艺和工序复杂多变,生产计划和物料派工难以预测,信息系统相互独立且数据结构不统一,存在数据实时采集困难,信息处理实时性差等问题。为解决上述问题,本文以浙江某轴承制造企业为研究对象,采用Kafka、Flink、HDFS等大数据技术,设计并实现了集成多源异构数据采集模块和基于Kappa架构细粒度流式数据实时处理模块的数据采集与处理系统,并成功应用于该轴承制造企业。主要完成工作概括如下:（1）轴承制造车间硬件通信组网基础架构的设计与多源异构数据采集模块的开发。为保障数据统一采集和实时处理的需求,搭建了以Ether CAT通信协议为网络通信主线的轴承制造车间硬件通信组网基础架构;采用抽象化接口的设计思想将多源异构数据统一输出格式和数据接口;针对轴承制造车间边缘生产设备种类繁多的问题,设计了多源异构数据采集模块,并面向不同异构设备的通信服务和数据采集程序进行开发,实现了多源异构数据的统一采集。（2）基于Kappa架构的细粒度流式数据实时处理模块设计与开发。为实现海量多类型轴承制造数据的实时处理,将数据处理模块划分为结合Kafka和Flink的流处理层与基于HDFS的分布式存储层;针对Kafka传统Topic划分策略不适用于轴承制造业海量粗粒度数据的问题,结合轴承制造业生产数据来源,提出一种Kafka Topic细粒度划分策略;分布式存储层针对存储Flink实时计算结果文件数量级大但文件内容小的问题,提出了一种改进读取批量小内容文件的算法。（3）集成异构系统服务的应用服务层设计与开发。为满足轴承制造车间生管人员实时掌握现场生产情况和消除“信息孤岛”的需求,构建了面向服务架构的异构系统集成模型,开发了调用异构系统服务的相应接口函数;集成多源异构数据采集和细粒度流式数据实时处理模块,开发了包含面向车间现场人员的数据采集客户端和面向上层职能管理人员的可视化集成平台在内的应用服务层,利用大数据可视化技术展示轴承制造车间生产状况并实现了异构系统服务的调用。（4）系统集成部署与性能测试。基于大数据监控管理平台Ambari部署本系统所使用的大数据服务,实现了大数据集群的统一监控管理;针对本文所提出的基于Kappa架构的细粒度流式数据处理模块,对该模块的消息队列和流处理引擎进行性能测试和调优分析,验证了本文所设计模块和所提出策略在实时处理海量多类型轴承制造数据时的可靠性和正确性。
其他文献
目的 探讨糖皮质激素联合丙硫氧嘧啶治疗甲状腺功能亢进症（甲亢）的临床效果和安全性。方法 选取2018年7月—2020年7月于赣州市南康区第二人民医院就诊的88例甲亢患者，按随机数字表法分为2组，各44例。对照组予以丙硫氧嘧啶治疗，观察组加用泼尼松治疗，比较2组临床疗效、游离甲状腺素（FT4）、游离三碘甲状腺原氨酸（FT3）、促甲状腺激素（TSH）、甲状腺刺激性抗体（TSAb）、甲状腺刺激阻断性抗体
社会数字化转型发展背景下，平台经济金融化趋势明显。平台经济较传统经济在组织分工模式、资本积累模式、全球化扩张模式三个方面发生深刻变革，并蕴含走向金融化的内在趋势。在此金融化过程中，平台经济表现出的金融过度创新、混业经营、监管脱敏、数字技术创新等特征导致局部金融风险不断积累，并使金融风险更趋复杂化和隐蔽化，进一步加大金融监管难度。针对平台经济金融风险的防范与化解，建议从明晰“科技”与“金融”业务边界
美育的概念极为广泛,已经超出了艺术的自身,有效将美育教育融合到各科教学活动中,将会实现专业课程与美学课程的共同进步与发展。小学数学作为小学阶段的主要学科之一,在课堂教学中渗透美育教育,不仅有效激发学生学习兴趣,也将提升学生学习自主学习意识,使得课堂教学更加优美及高效,同时也把美育有效渗透,为学生综合素养发展奠定坚实的基础。为此,本文将谈论小学数学渗透美育必要性与存在的问题,以及小学数学渗透美育教育
翻转课堂的教学方式是随着素质教育改革的不断推进而产生的一种新型教学方法,这种教学方法主要强调教师在教学的过程中,学生能够根据教师在课堂上的启发进行自主的学习,教师针对学生在学习的过程中产生的具体问题进行有目的的教学。文章主要结合高中地理教学的相关内容进行分析探究翻转课堂,从而最大限度的发挥翻转课堂在教学中的实际意义。
＜正＞随着时代的发展，互联网经济的兴起，极大地加快了商品流通速度，也诞生了供应链这一新的经济活动形式。在会计领域，信息技术的应用也越来越广泛和深入，极大地提升了财务会计工作的效率，在为广大的财务人员提供便利的同时，也同样带来了一些潜在的威胁与挑战。文章针对供应链金融时代背景下，财务会计管理工作中的风险防范，提出了相应的解决对策，旨在降低财务会计工作中的风险，提升财务会计工作的安全性。引言：信息技术
针对机械产品装配过程中容易产生的漏装问题，以RV减速器为研究对象，提出一种基于深度学习的装配过程监测系统。搭建装配过程监测系统实验台，使用RGB-D相机采集装配体深度图像和彩色图像；利用深度学习中语义分割和目标检测算法对采集到的深度图像和彩色图像进行预测，获得预测结果；将深度学习算法、视频采集等功能集成到装配过程监测软件中，实现了RV减速器装配过程监测。实验结果证明：此软件可以正确监测装配过程中每
算法黑箱的法律规制研究对于解决当前算法时代中层出不穷的算法操纵、算法歧视、算法茧房、算法失控等一系列算法问题有着至关重要的作用。随着算法技术的日益发展与迭代更新,算法黑箱的不透明性与自主性愈发明显,不具备算法专业知识和算法理解能力的社会公众,只能被迫地接受算法的输出结果而无从了解算法的决策缘由。目前国内外对于算法规制的研究日臻成熟,但对于是否要打破算法黑箱,将提高算法透明度和可解释性作为规制算法的
＜正＞不同企业所处的内外部环境均有较大差异。因此，应基于对自身所处环境的判断，以防范风险为导向，建立“识别、评估风险-应对风险-促进管理”的供应链金融风险管理体系。并以此为基础，发现管理活动中存在的问题，采取恰当的应对措施。中小企业自身的抗风险能力较弱，受供应链金融中核心企业的影响较大。因此在参与融资时，更应审慎分析自身所处的环境，做出合理决策。