【摘 要】
：
高效用项集挖掘是数据挖掘领域中研究热点之一,它旨在发现事务数据库中具有高度重要性的模式。近年来,学者们提出了大量相关方面的算法,并取得了一定的研究成果。然而,目前大多数高效用项集挖掘算法仅仅关注项集的效用值,导致挖掘出的项集大多数是弱相关的,在实际生活中没有意义。首先,本文针对上述问题提出了ULB-CHMiner算法来发现相关性更强的高效用项集。该算法在ULB-Miner算法的基础上引入了全置信度
论文部分内容阅读
高效用项集挖掘是数据挖掘领域中研究热点之一,它旨在发现事务数据库中具有高度重要性的模式。近年来,学者们提出了大量相关方面的算法,并取得了一定的研究成果。然而,目前大多数高效用项集挖掘算法仅仅关注项集的效用值,导致挖掘出的项集大多数是弱相关的,在实际生活中没有意义。首先,本文针对上述问题提出了ULB-CHMiner算法来发现相关性更强的高效用项集。该算法在ULB-Miner算法的基础上引入了全置信度约束,并提出了相关效用的新概念。为了提高算法的挖掘效率,改进了效用列表缓冲区结构,并基于提出的相关效用上界和估计相关效用共生结构进行剪枝。在不同数据集上进行的大量实验表明,ULB-CHMiner算法可以修剪大量弱相关项集,并且在时间性能、内存消耗和可扩展性方面相比于选取的对比算法整体上表现更好。然后,针对ULB-CHMiner算法中阈值难以设定的问题,本文提出了ULBTKCH算法。该算法旨在挖掘相关效用值最大的k个项集,用户只需设定k值即可。为了有效提升算法的效率,它使用了提前设定阈值策略、阈值提升策略、基于相关效用上界的剪枝策略等五种策略。此外,该算法选用改进的效用列表缓冲区结构来有效存储和检索效用信息。最后在多个数据集上对算法的性能进行评估,结果表明ULB-TKCH算法比TKO算法的挖掘速度更快且内存消耗更少,并且具备较好的可扩展性。最后,本文设计并实现了相关高效用MOOC模式可视化平台。先对MOOC数据进行预处理得到两种不同的事务数据库,然后分别对课程模式和课程种类模式进行挖掘。之后,搭建可视化平台来直观地展现挖掘结果,以更好地分析用户的选课行为。
其他文献
光谱响应函数作为卫星传感器里一个重要的参数,体现了各个光学元件的反射和透射特性,还包含了传感器的光谱响应特性的综合性能,更是决定了传感器对辐射的光谱响应特性,直接影响着传感器的定标精度和定量应用能力。气象卫星传感器发射前在地面实验室通过光谱校准获得的光谱响应函数是不准确的,而且在太空中运行的过程中光谱响应函数会以未知的方式发生退化,这两种现象都会严重影响卫星辐射定标工作的精准完成。这就需要提出一种
大数据时代,许多领域需要利用机器学习技术进行数据分析。但是机器学习模型构建过程复杂且耗时,如果不具备专业机器学习知识的领域专家可以根据业务需求自行构建模型,可以降低机器学习的使用门槛,提高工作效率。目前,已有很多研究提供可视化流程建模工具,建模人员可通过组合数据分析相关服务构造数据分析流程。进而,AutoML（Automated Machine Learning）工具还可根据数据及任务,自动化组合
在线新闻服务平台如今日头条、微软新闻等已成为广大用户获取新闻信息的主要来源。网上每天生成和发布了海量的新闻文章,导致用户很难快速找到感兴趣的新闻。然而个性化新闻推荐可以帮助用户缓解信息过载,提升新闻阅读体验,因此在众多网络新闻平台中得到广泛应用。新闻推荐中两个关键点分别为新闻文章表示和用户兴趣建模。对于新闻文本的表示,本文采用改进过的transformer模型并融合新闻类别信息去学习得到新闻文章表
推荐系统和聚类是两种应用广泛的数据挖掘技术。推荐系统可以帮助用户高效、有效地获取有用的在线资源,聚类技术能够降低数据的高维度和稀疏度,尽可能地将相似的对象聚类在一起,将不同的对象分开。近年来,在进行推荐之前,将具有相似特征的用户或者项目进行分组已经成为一种趋势,以此提高推荐质量。本文分别从优化常见聚类的缺点和消除聚类的关键性参数角度提出了聚类与推荐算法结合的思路,即基于聚类和模拟退火的协同过滤算法
氧化铝高温溶出工序是氧化铝生产中重要的组成环节,具有多种因素相互作用的特点,其中溶出温度是影响溶出质量最重要的工艺指标,仅依赖生产人员难以对溶出温度做到精准决策控制。通过对氧化铝企业溶出环节实际工艺流程的研究和对大量的历史数据进行分析,本文采用深度强化学习算法对氧化铝溶出环节的溶出温度进行决策,从而提高溶出质量。（1）对企业提供的溶出环节相关原始生产数据进行缺失值、异常值处理和可视化分析,并使用X
深度神经网络（DNN）可以有效地从海量复杂数据中提取重要的信息,已被广泛应用于图像识别、语音识别及自然语言处理等领域。但这些神经网络使用时会带来较大的计算和内存开销,限制了在资源有限场景下的使用。传统的CPU与GPU处理器,由于其硬件架构中计算与内存单元的容量限制,无法满足很多应用场景对DNN算法的高性能与低能耗的要求。因此,研究者们提出在现场可编程逻辑门阵列（FPGA）上设计适应神经网络算法的硬
有限混合模型由于其对数据的强大拟合能力,成为统计机器学习中重要的数据建模工具,在模式识别、计算机视觉以及数据挖掘等领域都有着众多的应用前景,近些年来得到了研究者们的广泛关注。然而,传统的有限混合模型主要是用高斯分布构建的,对于现实生活中产生的一些特殊数据,例如文本,图像等有界数据,以及一些其他领域的非对称数据等不能很好地进行描述。因此急需使用一些由非高斯分布构建的有限混合模型解决上述问题。在这些非
高精度器件表面数字化对于检测、装配具有重要作用。采集到的点云数据根据器件精度容量增加很快,快速处理海量数据成为解决实时性的热点。点云数据三维重建精度、速度指标都是虚拟装配中需要重点考虑的,这些指标和系统搭建、点云重建都存在密切关系。本文从三维重建算法、点云模型参数检测以及3D系统设计三个方面对工业球形零件和海量数据进行三维重建与关键参数计算进行了深入研究,实现了海量数据的快速重构和模型表面的三维参
我国是全球预焙阳极重要的生产基地,煅后焦粉末电阻率的高低在一定程度上影响着预焙阳极质量的好坏。研究煅后焦粉末电阻率的影响因素,并使用机器学习算法预测电阻率的大小,方便工艺人员及时调整生产控制参数,对提高阳极质量具有重要的意义。本文首先依据阳极生产工艺原理,对阳极煅后焦生产历史数据进行了预处理和可视化分析。其次,寻找影响煅后焦粉末电阻率的物料参数和控制参数,探索了利用XGBoost通过将预测值取反的
随着万物互联时代的到来,越来越多的工作流中含有大量的IoT数据实时处理任务,如智慧城市、智能交通等应用场景中的工作流应用。为了提高工作流的执行效率、充分利用计算资源,采用云、边协同方式进行工作流调度执行成为必然。然而IoT数据参与的工作流在云边环境的调度执行会面临诸多挑战。例如IoT数据多为连续、时效性强的流数据,因此IoT数据处理的工作流需要不断地重复执行;同时,IoT数据的动态性也会影响到工作