煤矿皮带系统指标流式计算与Shuffle调优算法研究

来源 :西安科技大学 | 被引量 : 0次 | 上传用户:george890120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着煤矿信息化程度的提高,采、掘、提、运、通等系统设备在生产过程中产生了海量的安全生产管控数据与经营管理数据,在智慧矿山的时代背景下,构建合适的煤矿大数据流式计算平台,挖掘数据内部价值,实现安全生产设备各个绩效指标的流式计算与分析,为煤矿精益化管理提供决策支持,以此探寻有效的降本增效运营模式,对煤矿企业发展具有重要的意义。论文以陕西黄陵双龙矿皮带系统为研究对象,提出了主煤流运输设备指标的流式计算系统,该系统采用Kafka框架完成煤矿皮带系统数据的监听功能,基于Spark Streaming实现了皮带系统报警数据指标、OEE、运力及能耗指标、绩效指标和可靠性指标的流式计算。基于现场的运行数据,实现了指标流式计算结果的可视化。在Spark Streaming计算过程中,针对数据重组(Shuffle)阶段出现数据倾斜,导致集群计算效率降低,提出了基于一致性Hash算法的自定义分区器。测试结果表明,该自定义分区器对Key分布不均的数据进行10个批次的计算,其中数据倾斜批次的计算平均用时较HashPartitioner减少22.9s。耗时Z分数对比证明集群在调用该分区器后,数据倾斜不再是影响计算用时的主要因素。本文所提出的基于一致性Hash算法的自定义分区器可以优化Spark计算中出现的数据倾斜问题,集群面对倾斜数据任务时计算效率提升达16.64%。论文将Kafka、Spark Streaming、SSM等技术相结合,以陕西黄陵双龙煤矿皮带系统为例,建立了一套基于煤矿皮带系统指标流式计算系统,其计算结果可以为煤矿皮带系统设备精益化管理提供数据及决策支持,提高煤矿皮带系统综合效率。研究成果可为陕西黄陵双龙煤矿智慧矿山建设及企业精益管理提供一定的参考价值。
其他文献
随着能源需求增长和环境污染恶化,电动汽车将逐步占领汽车市场。作为电动汽车动力心脏的锂离子电池,在使用过程中剩余电量的不一致性不断扩大,直接影响电动汽车的续航里程,因此电池均衡控制系统成为电动汽车领域的研究热点。本文以18650三元锂离子电池为研究对象,开展以下研究:首先,采用扩展卡尔曼滤波算法对电池进行SOC估算。搭建二阶RC电路模型,采用HPPC脉冲测试法进行电池参数识别,在MATLAB/Sim
随着我国交通基础建设及能源开采速度的不断加快,地下煤岩体工程质量及安全也受到社会广泛关注。在地下煤岩体工程中,地下水害往往是影响其建设和运营的关键因素,已成为工程灾害治理中亟待解决的问题,其中大流量高流速的突涌水灾害封堵难度极大,问题尤为显著。注浆法作为一项实用性强,环境干扰小的工程技术,是煤岩体工程突涌水灾害防控的主要方法。但目前针对大流量、高流速的突涌水条件下,浆液受水流冲刷严重,浆液沉积运移
活塞作为汽车发动机中重要的组成部分之一,其承受着较高的磨损和工作温度,为满足现代化高性能复杂化车辆驶役工况要求,急需探索新型高性能强耐磨活塞材料及其制备成型工艺。近年来,采用铝合金代替其他材料,以此作为发动机活塞基材,已成为活塞材料研究重要方向和热点。同时,颗粒增强金属复合材料,可以显著提高基材综合力学性能,其中金属玻璃因其独特的力学、物理、化学性能,有望获得更佳的复合材料增强效果。为了进一步改善
驻车加热器是车辆停止时使用的辅助加热装置,可以提高人员的舒适性。目前,市场上驻车加热器的燃烧装置使用机械雾化实现液体燃料的破碎、蒸发以及与空气的混合、燃烧,但机械雾化易出现液体燃料与氧化剂混合不充分,燃烧不完全等问题。本文提出了液体燃料蒸发式多孔介质燃烧结构,研究了不同蒸发结构、燃烧器等结构参数以及燃油消耗量和过量空气系数等操作参数对燃烧特性的影响规律,主要研究工作如下:设计并搭建了液体燃料蒸发式
近三十年来,无线通信业务量剧增,第五代移动通信(The 5th Generation Mobile Communication,5G)应运而生。毫米波、大规模多输入多输出(Massive Multiple-Input Multiple-Output,Massive MIMO)和波束赋形是5G三大核心技术。其中全数字波束赋形(Digital Beamforming,DBF)性能理想,硬件成本和能耗较
随着煤矸石分选系统对其智能化要求的逐渐提高,研究人员提出了煤矸石自动分选方法,其中包括射线法、机械洗选法、图像识别法。前两者会造成环境污染且成本过高,所以图像识别法成为了煤矸石自动分选的首选方案。该方法的难点是如何准确完成煤矸石的目标检测任务。深度学习已在各个领域展现出巨大的潜力,本文将生成对抗网络和one-stage目标检测模型应用到煤矸石目标检测中,旨在提高检测精度及速度。目前没有公开可用的煤
FPGA的高速并行性、流水线方式处理数据的特点,适用快速图像处理。而在图像处理应用中,图像的关键在于边缘特征所包含的信息。边缘检测在目标跟踪、目标识别、深度学习下的监督识别、机器视觉检测等领域至关重要。在低照度环境下,图像的边缘信息不明显,精确地检测出低照度环境下的边缘非常关键。针对低照度环境下引起的图像质量退化导致边缘检测精度低的问题,提出一种基于梯度差分自适应边缘检测方法,选取Canny算子作
在矿山企业的大型机电设备中,矿用减速器在生产过程中承担着传递动力的关键作用,减速器的正常运行对矿山企业的安全生产具有重要意义。滚动轴承作为矿用减速器的关键部件,常在大负荷、连续长时间运转或维护保养不及时等工况下运行,因此容易受到损害。滚动轴承故障不仅影响减速器的正常工作,造成企业计划外的停机停产,还可能会因为机电设备故障导致井下通风、供排水、运煤运矸等环节宕机带来安全生产事故,严重情况时更会对井下
煤炭是我国的主要能源,随着工业互联网、人工智能、物联网、智能机器人等技术的发展,建设智能矿山符合国家发展战略,是煤炭行业的必然选择。因此,通过研究煤矿井下空间的实时三维建图、定位和导航技术,可以解决井下机器人和人员的定位及导航问题,有利于保障人员安全和提高智能化开采效率,对建设智能矿山具有重要意义。同步定位与地图构建(Simultaneous Localization and Mapping,SL
城市化进程的加快,使得垃圾数量飞速上涨。正确分类垃圾并提高垃圾的回收循环利用率不仅能够保护环境还可以节约资源,我国从2019年开始,许多城市逐步出台了强制垃圾分类的准则。然而,目前智能垃圾分类的应用不是很多,国内的智能垃圾分类研究更是起步较晚。当前的垃圾分类算法存在网络参数量过大、不便于移植到移动设备中、实际场景下适应性较差等缺点。本文研究了六种不同的网络模型,并在公共数据集Trashnet上实验