基于流程分割的数据密集型工作流调度方法的研究

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:zhangyanruru
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网技术的飞速发展,各种物联网设备采集的数据源源不断产生并大量积累,这些数据具有巨大的利用价值并产生了大量的业务应用需求,此类应用也成为了众多行业领域的热点。在这些领域的应用建设中,围绕这些物联网数据的很多应用往往可以被表示为物联网分布计算环境下由一组大数据处理与分析任务构成的工作流,本文中把这种工作流称为数据密集型工作流。与传统工作流不同的是,物联网环境下这种数据密集型工作流具有数据来源分散、数据规模大、云边协同分布执行等特点,在物联网云边协同计算环境(下文简称为云边环境)下执行此类工作流时,需要考虑业务约束、远距离数据传输等多方面因素,从而给工作流系统的执行引擎带来了数据流控制管理、数据传输调度等方面的诸多挑战。为此,本文针对这种数据密集型工作流的执行约束和数据传输问题,提出了一种云边环境下基于流程分割的数据密集型工作流调度方法,并设计实现了一个数据密集型工作流执行调度系统。具体的工作包括以下三方面:(1)针对物联网数据应用执行问题,提出了云边环境下数据密集型工作流调度框架。在该框架下,首先对物联网数据应用在BPMN业务流程建模语言基础上进行扩展以支持数据密集型工作流建模;进而提出了适合云边环境的工作流节点定义;最后给出了该环境下的基于分割调度的数据密集型工作流调度基本思想,即通过分割和调度来满足数据密集型工作流执行的约束条件及执行中跨节点跨数据传输的优化需求。(2)通过对物联网云边环境下的工作流调度问题分析,以用户的约束条件为前提,以工作流执行中的数据传输量等为优化目标,提出了一种基于流程分割的数据密集型工作流调度方法(DSPS)。首先,在用户约束条件下确定工作流的分割位置,并根据分割位置将原工作流分割为多个子工作流,减少其间的数据传输,达到优化传输时延的目的;然后,利用粒子群优化算法进行改进,使其在满足用户约束条件的同时达到工作流的执行时间和计算节点负载均衡两个优化目标。通过仿真实验的结果显示,本文的研究方法相对于已有工作,在整体执行时间和计算节点负载均衡的优化上具有很好的效果。(3)在上述工作基础上,基于开源Flowable工作流软件设计并实现了一个数据密集型工作流执行调度系统。首先,给出了系统的架构设计以及系统核心流程设计;然后,针对数据密集型工作流分割和调度两部分主要功能模块技术实现进行了说明,并给出了调度执行结果的可视化呈现方式;最后,通过智能交通领域的场景案例对系统可用性进行了验证,展示了系统的应用效果。
其他文献
高精度器件表面数字化对于检测、装配具有重要作用。采集到的点云数据根据器件精度容量增加很快,快速处理海量数据成为解决实时性的热点。点云数据三维重建精度、速度指标都是虚拟装配中需要重点考虑的,这些指标和系统搭建、点云重建都存在密切关系。本文从三维重建算法、点云模型参数检测以及3D系统设计三个方面对工业球形零件和海量数据进行三维重建与关键参数计算进行了深入研究,实现了海量数据的快速重构和模型表面的三维参
学位
我国是全球预焙阳极重要的生产基地,煅后焦粉末电阻率的高低在一定程度上影响着预焙阳极质量的好坏。研究煅后焦粉末电阻率的影响因素,并使用机器学习算法预测电阻率的大小,方便工艺人员及时调整生产控制参数,对提高阳极质量具有重要的意义。本文首先依据阳极生产工艺原理,对阳极煅后焦生产历史数据进行了预处理和可视化分析。其次,寻找影响煅后焦粉末电阻率的物料参数和控制参数,探索了利用XGBoost通过将预测值取反的
学位
随着万物互联时代的到来,越来越多的工作流中含有大量的IoT数据实时处理任务,如智慧城市、智能交通等应用场景中的工作流应用。为了提高工作流的执行效率、充分利用计算资源,采用云、边协同方式进行工作流调度执行成为必然。然而IoT数据参与的工作流在云边环境的调度执行会面临诸多挑战。例如IoT数据多为连续、时效性强的流数据,因此IoT数据处理的工作流需要不断地重复执行;同时,IoT数据的动态性也会影响到工作
学位
高效用项集挖掘是数据挖掘领域中研究热点之一,它旨在发现事务数据库中具有高度重要性的模式。近年来,学者们提出了大量相关方面的算法,并取得了一定的研究成果。然而,目前大多数高效用项集挖掘算法仅仅关注项集的效用值,导致挖掘出的项集大多数是弱相关的,在实际生活中没有意义。首先,本文针对上述问题提出了ULB-CHMiner算法来发现相关性更强的高效用项集。该算法在ULB-Miner算法的基础上引入了全置信度
学位
近年来,随着城市化进程不断加快,频繁的人口流动导致大规模的人群聚集现场出现的频率大幅提升,在地铁站、购物商场、旅游景点或者其他大型活动的广场等地出现的概率较高。2014年底,上海外滩跨年活动中发生的踩踏事件,再一次警醒管理部门提高对密集场所的预警关注与监管。为此基于现代智能化技术人群计数任务得到了广泛的研究,通过智能监控分析进行人群计数,为公共安全保障、提供交通调度以及商业布局奠定技术基础。随着深
学位
问题生成任务是指在给定一个段落和指定答案的情况下,逆向生成多角度的问题。问题生成任务具有广泛的应用性,已经成为自然语言处理领域内的研究热点之一。但是,传统的问题生成模型中存在很多问题。一方面,模型对长文本语义信息提取不足,无法获取丰富的信息特征;另一方面,模型在文本和答案的交互上欠缺,造成生成问题的语义偏离于文本和答案。针对以上问题,本文在基于LSTM的问题生成模型上进行改进。该模型的编码器和解码
学位
监控录像是记录、回放和分析异常行为的关键工具。以传统的方法检测和分析视频中的异常事件需要对监控视频进行人工处理,但这些方法需要耗费大量人力,而结合深度学习算法的动作检测技术能够在海量数据中自动学习到健壮的行为特征,因此逐渐成为实时识别异常行为的解决方案之一。以计算机视觉理论为基础不断改进的动作检测算法前景广泛,具有重要的研究价值和实际意义。常见的行为检测技术尚存在行为识别的准确率低、对非异常行为的
学位
“眼睛是心理之窗”。近期的心理学和视觉研究表明,人的心理活动可以一定程度地通过视线表达。然而,用视线分析心理活动还需要与发球技战术相结合,还需要区分人物视线特征发现的场景。本文针对运动人物视线分析中存在的视线采集中图像提取的自适应问题、关键人物确定的自适应问题,以及运动人物视线与视线目标的相关性问题,对运动视线分析模型的自适应方法与技术展开研究。为了有针对性地研究运动人物视线,文中把视线分成“运动
学位
近年来,以BERT(Bidirectional Encoder Representations from Transformers)为代表的预训练语言模型在口语理解任务中有着优异的性能表现。然而,这类语言模型虽然性能较为出色,却通常只能在文本层面建立上下文关联,而缺少丰富的外部知识来支持其完成更为复杂的推理。为了解决这一问题,进一步提升此类语言模型在口语理解任务中的性能表现,本文提出:(1)为BE
学位
在“双碳“背景下,电动汽车因零排放,噪声小,能耗低等优点,将迎来较大的发展机遇。然而,电动汽车的快速发展暴露了充电桩等基础设施落后、车桩比悬殊的问题。私桩的加入可以改善上述问题,但也带来了服务质量良莠不齐,计价不合理,用户体验不佳的挑战。目前,常用可信度计算的方法来解决上述挑战,用于可信度计算的数据主要存储在第三方或者区块链充电平台。基于第三方的信誉方案存在中心欺骗,单点故障的问题;基于区块链的信
学位