论文部分内容阅读
制造物联(Internet of Manufacturing Things, IOMT)是一种新型的制造与信息融合的生态系统,将嵌入式、RFID、网络、传感器及执行器等制造技术与电子信息技术相融合,实现对产品设计、制造与服务过程中信息资源与制造资源的动态感知、智能处理、海量挖掘、与优化控制的一种新型的信息服务模式与制造模式。IOMT部署了大量的感知节点在现场来实时监控生产环境情况等,产生了海量的分布式制造数据流以及海量制造数据。传统的频繁模式挖掘算法无法满足当前制造物联的应用要求,因此设计高效可行的频繁模式挖掘算法挖掘出有用知识就成为了新的挑战。本文着重分析了IOMT内产生的制造数据数量巨大和实时数据流海量分布的特点,在对现有的数据流频繁模式挖掘算法进行深入研究的基础上,提出并设计了面向IOMT这个特定环境下的海量数据流频繁模式挖掘的高效算法,并通过实验仿真验证其高效性。本文的主要工作概括如下:(1)分析了传统的频繁项集挖掘算法以及数据流频繁模式挖掘算法,并结合制造物联中产生的数据特性,综合分析它们的优缺点。(2)针对制造物联制造数据海量的特点,而传统的Aprioir算法面向海量数据挖掘效率低的问题,本文提出了一种基于MapReduce的高效频繁模式挖掘算法。该算法首先采用AprioriTid算法来对原始的数据进行预处理,删除所有的低频1-项集,然后计算出每次处理集(L)和最小支持度(N)的长度来确定Map操作结束后的最大合并项候选集。算法减少了Map任务中低频项集的生成以及分散主机间的通信量,通过与已存算法进行实验仿真对比表明:该算法大大的减少了内存的占用,提高了挖掘效率。(3)针对制造物联实时产生海量分布式制造流的特点,以及感知节点计算能力不足和资源有限的问题。本文提出了一种基于MapReduce的数据流闭频繁模式挖掘算法。该算法提出一种改进的FP-Tree数据结构,通过对分布式节点构建窗口树IFP-Tree,然后动态的对IFP-Tree进行更新、减枝及挖掘,能够迅速响应查询请求,返回任意时间窗口内事务数据流的闭频繁模式集。实验结果表明:该算法在保证挖掘结果准确性的前提下,有效的缩短了用户查询响应时间,且具有很好的可扩展性。