高效用项集挖掘算法的关键技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:qinlh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、物联网、云计算等信息技术的迅猛发展,信息技术与政治、经济、军事、科研、生活等领域的传统应用不断融合,催生了超越以往任何年代的海量数据。同时,遍布世界各地的智能移动设备、传感器、电子商务网站、社交网络每时每刻都在生成类型各异的数据。面对大量的数据,如何及时、有效地进行数据分析,从中提取与人们生活习惯密切相关的潜在模式,是信息时代政府、企业急需关注的问题。例如证监会通过对某只股票的买方、卖方成交价格及数量的分析,判断该只股票是否存在内幕交易及庄家控盘;支付宝网络技术公司通过分析支付宝用户在网络平台的消费记录,获得不同群体的消费习惯,并制定相应的营销策略;交通部门通过分析不同时段路网的车流信息,制定限行限停政策,缓解城市交通拥堵现象。数据挖掘是指在数据库中寻找重要的、未知的、潜在有用模式的过程,高效用项集挖掘是数据挖掘的中心任务之一。本文研究了高效用项集挖掘领域的七个问题,创新性研究成果如下:1)提出了静态数据库上的高效用项集挖掘和top-k高效用项集挖掘算法。静态数据库上的高效用项集挖掘和top-k高效用项集挖掘面临的主要挑战为在项集效用的计算过程中产生候选项集数量巨大的问题,这不仅消耗了大量的内存空间,而且校验候选项集耗时巨大。因此,本文提出了一个基于树结构的高效用项集挖掘算法HUITWU和一个top-k高效用项集挖掘算法TKHM。HUITWU采用树结构HUITWU-Tree存储数据库中的项集信息,采用“效用数据库”存储项集在事务中的效用,在挖掘中对由树结构生成的项集通过项集与效用数据库的对应关系,直接计算项集在数据库中的效用,避免了候选项集的产生。TKHM同样采用HUITWU中的数据结构,在其构建过程中采用两个阈值提升策略提升初始值为0的最小效用阈值,在挖掘过程中直接计算项集在数据库中的效用,动态地提升最小效用阈值,避免了top-k高效用候选项集的产生。通过实证研究,与同类算法相比,HUITWU和TKHM的时空效率提升明显。2)提出了静态数据库上的闭合高效用项集挖掘算法。静态数据库上的闭合高效用项集挖掘面临的主要挑战为在闭合高效用项集的计算过程中,产生的候选项集数量巨大,本文提出一个不产生候选项集的算法Clo HUI,Clo HUI采用新的树结构HUITWU-Tree+存储数据库中项集及其在数据库中的频数,使用效用数据库存储项集在事务中的效用信息,在挖掘中本文提出了一个有效的策略校验闭合频繁项集,然后对闭合频繁项集计算其在数据库中的效用,判断其是否为闭合高效用项集,整个过程避免了候选项集的产生。通过实证研究,与同类算法相比,Clo HUI的时间效率提升明显。3)提出了高效用项集增量挖掘算法和交互挖掘算法。高效用项集增量挖掘和交互挖掘面临的主要挑战为在挖掘高效用项集的过程中产生的候选项集数量巨大,本文提出了一个高效用项集增量挖掘算法IHUI-Miner和一个高效用项集交互挖掘算法FIHM。在IHUI-Miner中本文提出一个新的树结构IHUIL-Tree存储原始数据库或更新数据库中的项集,在挖掘过程中直接计算项集在数据库中的效用,避免了候选项集的产生。FIHM构建了一棵包含数据库中所有项的HUITWU-Tree,在挖掘过程中无需生成候选项集。通过实证研究,与同类算法相比,IHUI-Miner和FIHM的时间效率提升明显。4)提出了基于滑动窗口的数据流高效用项集挖掘算法和top-k高效用项集挖掘算法。基于滑动窗口的数据流高效用项集挖掘和top-k高效用项集挖掘面临的主要挑战为在挖掘过程中产生的候选项集数量巨大,本文提出一个基于滑动窗口的数据流高效用项集挖掘算法HUISW和一个基于滑动窗口的数据流top-k高效用项集挖掘算法TK-HIS,HUISW采用新的树结构HUITWU-Tree+存储滑动窗口中的项集,在挖掘过程中直接计算项集在滑动窗口中的效用,避免了候选项集的产生。TK-HIS采用HUISW中的数据结构,使用提出的两个阈值提升策略提升初始值为0的最小效用阈值,在挖掘过程中直接计算项集在滑动窗口中的效用,动态地提升最小效用阈值,避免了top-k高效用候选项集的产生。通过实证研究,与同类算法相比,HUISW和TK-HIS的时空效率提升明显。
其他文献
鉴定人在诉讼中起着重要的作用,鉴定结论必须经过审查、质证后才能在庭审中加以运用,鉴定人出庭作证也是必要的,然而,由于种种因素的影响和制约,当前我国司法实践中鉴定人出
1概述在混凝土工程中,混凝土构件的外观普遍存在着气泡、露砂、缺角等缺陷,其抗风化、抗碳化程度低,不仅影响了混凝土的耐久性,而且影响了混凝土的美观.施工单位不得已对这类
橡胶树炭疽病是我国广东、广西、云南和福建四省(区)植胶垦区普遍发生的一种叶片病害。我们通过对来自不同地区、不同植物部位、不同叶龄和病斑类型的33号炭疽病标本,进行了
目的 研究体内SARS冠状病毒(SARS CV)感染的靶细胞 ,为SARS CV致多器官损伤寻找依据。方法 依据SARS CV基因序列 ,合成 3个代表性寡核苷酸探针 ,采用核酸原位杂交和透射电
随着计划生育政策的实施以及人口死亡率的逐步下降,目前我国的人口结构较以往已发生了明显变化。据2010年全国第6次人口普查数据可知,在我国60岁以上人口已占总人口的13.26%,
研究汽爆(steam explosion,SE)耦合同步糖化发酵(simultaneous saccharification and fermentation,SSF)新工艺对麦麸粉理化指标及感官评价的影响。汽爆麦麸粉是以蒸汽为汽爆
19世纪末“巡回画派”时期是俄罗斯冰雪油画艺术构成技法发展创新的鼎盛时期。翻阅俄罗斯美术各个时期的冰雪油画艺术大师作品都能让人感受到冰雪油画艺术技法的精湛,俄罗斯
随着我国高铁的发展,运维工作在高铁客运服务系统安全运营中起到越来越重要的作用。传统的运维数据处理方法通常是针对结构化数据进行挖掘和分析的。然而,高铁客服系统在实际
脑出血后,右侧偏瘫伴运动性失语,感觉障碍,甲状腺功能低下。方法:利用康复评定 Team会,追踪病史,检验分析,找出 PT、OT、ST、ADL及临床内分泌方面的问题点。针对影响运动功能恢复的
关云长温酒斩华雄的故事,大家可能耳熟能详,关云长勇敢、果断、武艺高强实在让人佩服之至,而曹操让人给关云长温酒一杯,就说明了当时就有酒温热饮的习惯了。古人饮酒喜欢温热后再
报纸