基于Docker的工业大数据平台持续服务关键技术研究

来源 :浙江理工大学 | 被引量 : 2次 | 上传用户:okyy1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
物联网与工业自动化系统的快速发展使得工业界积累的数据呈指数式增长,由于设备数据包含了工业过程中的重要信息,如何从海量的工业数据中挖掘出有价值的信息已经成为工业生产企业的需求。为了能够利用大量的工业数据来为企业创造经济价值,越来越多的研究人员与工程人员利用机器学习来对工业设备进行数据驱动建模。但是相比传统的商业大数据建模,工业大数据有着完全不同的特点:工业数据主要来自于传感器网络,其必须能够被及时且不间断地处理;工业大数据获取和使用有着严格的地点和范围的限定以遵循企业相关的数据安全规范;也特别的,在长生命周期的复杂工业过程中,工业的模型会随着设备的老化、工艺的更新不断演化。然而,工业大数据平台计算能力和技术支持相对有限,通常的设计是将模型更新独立于大数据平台以外,通过人工完成,这使得模型的更新周期长,成本高。工业大数据独特的需求使得工业大数据平台的实际化使用上面临众多困难。本文针对长生命周期的复杂工业过程中面临的机器学习和服务面临的模型更新困难,模型训练缺乏管理,资源缺乏有效的调度等问题,提出了一个基于Docker工业大数据持续服务平台,提供了持续化的机器学习建模和服务的关键技术支撑。具体的研究内容如下:(1)构建了一个基于容器的工业大数据的建模与服务平台,在现有的数据流,历史数据存储,实时数据管理,资源的弹性伸缩和服务的健康检查管理的基础上,加入了持续化的机器学习建模、管理和资源调度等支持,实现了全自动化的模型更新支持。(2)创新性的提出了一个基于模型适应性误差的模型更新调度算法。由于模型的更新通常是计算和资源密集型,如果不对模型的更新进行合理的调度会使得有限的工业计算平台资源耗尽。通过在线评估模型的适应性误差,根据评估结果和模型的更新开销综合考虑,决定模型更新调度优先级,提升了系统平台整体的模型服务质量。(3)系统地设计了机器学习模型管理服务,该服务提供了系统化的模型管理服务支持,除模型更新调度外,通过规范了模型的接口类型,允许一致化的模型调用;设计了模型的元数据描述,允许模型对自身的特性进行描述;构建了两种模型评估方法,支持在线和离线的模型评估;针对模型更新困难会导致模型服务停止的问题,提出了模型的平滑切换策略,保证了对在线模型服务的”零”影响,且不需要人工干预,极大地简化了模型更新流程。平台设计已经在Rancher上,基于Spark数据流引擎和TensorFlow机器学习系统上进行开发和实现。平台原型系统已经被部署在了某1000MW火电机组上,用于机组8个关键参数的建模和预测。系统部署的过程中经历了机组的大修等众多模型演化过程。场地测试以及长达10个月的持续化服务表明,该平台能够很好地适应工业场景下的模型演化,并且在系统发生变化的时候能将模型的服务质量维持在较高的水平,同时系统的开销很小,非常适合资源有限的工业大数据平台,特别是边缘计算网关的使用。
其他文献
目的研究胎儿超声软指标的临床结局。方法选取本院收治的胎儿超声软指标异常的260例孕妇,回顾性分析此260例孕妇的临床资料。结果染色体异常者25例,占9.62%;单纯USM异常其染
目的应用多普勒组织成像技术(DTI)探查正常人二尖瓣环的运动,以阐明二尖瓣环运动的特征。方法应用DTI-M型技术检测35例正常人心尖四腔观和二腔观二尖瓣环后瓣叶外侧缘的运动。结果DTI-M型彩色图
目的:探讨新生儿缺血缺氧性脑病(HIE)发生的相关因素,丰富对新生儿缺血缺氧性脑病发生的认识。方法:回顾性分析我院2014年2月至2016年2月治疗HIE患儿50例,以我院同期顺产新生
CD60电容器的早期失效是严重的质量问题,本文在充分分析早期失效原因的基础上,而提出杜绝早期失效的工艺措施。
应用HACCP体系对牡蛎肽粉生产过程中可能存在的危害进行分析,风险评估,找出对终端产品安全存在影响的关键控制点分别为新鲜牡蛎肉验收、酶解、杀菌浓缩、密封和金属探测,确定
中国传统文化下的戏曲、美术等艺术的表现形式,基本上都采用了“虚实相生”的创作手法和审美原则。其中,舞剧作为传统艺术的一种表现形式,同样,也是“虚实相生”的艺术。纵观
举办全国性市场营销技能大赛是职教改革中一项重要成果。通过对市场营销技能大赛目标和功能的研究,得出:市场营销技能大赛不仅为职业院校构建了一个新的育人平台、选拔人才平
高血压是一种以体循环动脉血压增高为主的临床征候群。单纯性收缩期高血压(ISH)指收缩压(SBP)≥21.3kPa(160mmHg)、舒张压(DBP)【12.7kPa(95mmHg),但一些心排血量增加的疾病
老年人中晚期肾癌对动脉灌注及栓塞的临床分析黄福贵①李新红②刘无非③本文报告了20例老年人患肾癌,经导管肾动脉栓塞效果较好,现报告如下。1材料和方法本组病人均经临床肾脏B超、