基于聚类和关联规则的缺失数据填充方法研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:l907603912
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在数据挖掘的过程中,经常出现缺失数据的现象,这可能导致数据分析算法无法建立可靠的模型,从而得不到准确的分析结果,由此出现了许多缺失值填充的方法。当前主流的数据填充方法中,多数只针对数据对象间的相似性或属性值之间的相关关系其中一个方面展开,不能有效利用数据集中的全部信息,而且大多算法只能适用于数值属性数据集或分类属性数据集,而现实中混合属性数据集却是很常见的。为了提高填补缺失数据的准确率,本文通过利用聚类算法可以提高类簇内数据对象之间相似性、关联规则能反映属性值之间潜在关联关系的优势,提出了基于聚类和关联规则的填充方法,解决了混合属性数据集含有缺失数据的问题。本文的主要研究内容如下:(1)提出自动确定聚类中心的混合属性聚类算法。该算法根据数据对象的分布密度和数据对象间的距离,实现类簇个数的自动识别,完成对初始聚类中心的选择;并通过区分各属性对聚类结果的不同影响和优化聚类中心的表示方式,改进相异度计算公式,以达到更好的聚类效果。(2)针对关联规则挖掘时间复杂度高的问题,采用以聚类结果作为决策项的数值属性离散化方法,依据关系型数据中数据对象在每个属性下最多取一个值的特性,在关联规则用于缺失值填补的前提下,对候选频繁项目集和关联规则集进行剪枝,避免了不必要的计算,提高了强关联规则挖掘的执行效率。(3)提出基于聚类和关联规则挖掘的填充方法。首先使用本文提出的聚类算法对数据集进行聚类,使类簇内的数据对象具有较高的相似性;然后对每个类簇分别进行强关联规则挖掘,发现属性值之间潜在的关联关系;最后根据数据对象所在类簇的强关联规则进行缺失值填充,采用最大置信度规则策略解决填充规则冲突的问题,当填充规则不足时,利用类簇中数据的相似性填充缺失值,以保证缺失值的填补率和准确率。
其他文献
转辙机设备是铁路信号系统最重要的组成设备之一,随着我国高速铁路的快速发展,人民群众对快速又安全的铁路运行需求日益增长,转辙机设备的故障诊断效率直接影响着我国铁路运行的安全以及运输的效率。目前我国对于铁路信号设备的故障诊断仍然停留在故障修与计划修阶段,如何利用新的技术与现存的大量的维修日志数据来提高铁路信号设备故障诊断的效率,依然是目前我国铁路领域研究人员所面临的一个难题。转辙机的现场维修日志数据是
随着当前经济全球化的日趋完善和市场竞争程度的日益加剧,技术创新能力逐渐成为引领一个国家能否居于世界前列的核心驱动力。FDI的进入很好的解决了我国科技创新领域的技术研发问题。用地价格则是FDI区位进入选择过程中非常重要的决策变量。从理论上讲,土地价格的上涨可能会通过“选择效应”倒逼提升FDI进入的技术水平和其自身的附加值,从而有利于FDI进入地区技术创新水平的提升;反之,过低的土地价格可能减弱其“过
当前我国农技推广体系已不再是由政府一元主导型的了,越来越多的单位向农户提供农业技术培训和农业信息服务,而多媒体网络技术的发展和应用极大的丰富了农技推广体系,然而农
随着中国资本市场的发展,上市公司为了改善经营业绩或追求进一步的发展,往往采取一系列资本重组的方式,并购和剥离都是企业重组的主要方式,近年来企业采用并购重组的方式谋取发展的方式弊端逐渐显现,并购重组存在的企业之间经营融合和文化融合问题是企业向前发展的巨大阻力,并且一味的扩张,往往造成经营失败。因此,为了更好的发展,不少企业更加关注采用资产剥离重组的方式,资产剥离属于收缩型资本运作方式,是企业进行战略
运动目标检测技术在军事领域、智能交通、智能视频监控、工业方面、高级人机交互以及图像压缩等领域发挥着重要作用。对于计算机视觉领域来说,运动目标检测技术是其研究热点
我国关于过度维权案件的讨论热度只增不减。过度维权行为在消费领域较为常见,多表现为行为人明知产品存在质量问题或严重瑕疵,却大量购买以获得更多的赔偿。深入讨论知假买假行为的定性问题已经成为过去式,司法实践中关于该类行为的认定已经形成了明确的界定标准。随着社会生活方式的变化,人们的权利需求呈现出多元化的特征,过度维权行为延伸至医疗、上访、债权等领域,不再局限于消费领域。与此同时,科学技术的迅速发展,使现
改革开放以来,国内产业的发展日新月异,在党和各级政府的不懈努力下,旅游业发展实现了质的飞跃。消除贫困,改善民生,最终实现共同富裕是旅游业肩负的使命,也是旅游业自我价值得以实现的重要途径之一。以发展旅游业缓解经济欠发达地区的贫困问题、减轻当地政府的财政压力,是当前旅游业在扶贫减贫工作上取得的重大进展。毫无疑问,实施旅游扶贫是提升我国经济欠发达地区实现资源有效利用和经济循环发展的关键所在。另一方面,国
ZPW-2000轨道电路是我国铁路信号系统中不可或缺的关键设备之一。ZPW-2000轨道电路是自动完成列车占用状态检查的铁路信号设备,其工作质量直接影响铁路运输的效率,也是列车安全运行的重要保障。轨道电路故障模式复杂,维护人员处理故障时间较长,严重影响铁路运输秩序,是铁路信号现场维护的难点。探索各种智能诊断方法来缩短故障处理时间,提升轨道电路故障维护效率,正成为人们关注的热点。然而,在ZPW-20
交通在城市发展中具有着举足轻重的作用,随着国民经济快速发展,交通拥堵现象越来越严重,地铁作为公共交通已经成为各国城市现代交通发展的重要目标。与此同时,地铁的安全问题
贵州高铁建设是体现贵州快速发展迈入新时代的重要标志之一,那么,如何运用油画技法及材料进行艺术创作,体现出贵州高铁建设发展面貌,本文提出新的思考。本文创作作品主要以贵州高铁建设为题材,进行实践性创作研究,探究其创作构图与色彩的运用,分析创作实践中构图形式和色彩方面的运用遇到的问题,并提出解决方法。通过实践性创作研究、阅读文献和理论研究等,不断进行创作研究与思考,提出个人观点和具体方法,得出构图形式和