不平衡学习中的重采样方法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:ciha
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
不平衡数据普遍存在于实际生活中。通常,机器学习中的大多数分类算法都是假定数据集具有平衡的分布或相等的误分类代价。这些算法在面对相对复杂的不平衡数据集时,不能有效地反应出数据的分布特征,从而影响分类器的性能。实际上,通过不平衡数据集学习得到的分类器通常偏向多数类,使得它对少数类样本的分类效果不理想。然而少数类样本往往包含重要的信息且具有较高的错分代价,是我们重点关注的对象。研究不平衡分类问题的方法主要分为三个层面,包括数据层面、算法层面和集成层面。本文在研究不平衡学习各种策略的基础上,主要针对数据层面提出了三种不同的重采样技术:(1)针对少数类数据特征表达不充分影响分类器性能的问题,提出了基于最大最小距离的上采样方法。该算法首先确定少数类和多数类各维度上数据的最小距离中的最大距离所在维度,并在此维度上对少数类进行一定的数据扰动,产生新的少数类样本。(2)下采样技术的关键是减少多数类样本数目并且尽可能保持多数类的数据分布,而高斯混合模型能够有效地描述任意形状的数据分布。所以,本文提出了一种基于高斯混合模型的下采样方法,利用高斯混合模型对负类数据进行拟合,根据每个高斯分量上数据的分布情况,即概率区间按比例进行下采样。(3)通过分析聚类算法和下采样技术的特点,提出了基于双层聚类算法的下采样方法。外层通过K-means算法来保持多数类样本的整体分布,内层使用K-medoids算法对外层得到的每一个簇再进行聚类分析,将K-medoids算法得到的中心点保留下来作为多数类的样本,达到下采样的目的。论文对以上三种算法进行了实验论证,在UCI不平衡数据集上的实验结果表明,本文提出的重采样方法有效地提高了对不平衡数据的分类性能。
其他文献
随着我国“西气东输”战略的实施,越来越多的管道被用于能源的运输。但随着使用时间的增加,管道逐渐出现老化现象,再加上气候和地理环境的变化以及人为的破坏等因素,管道事故
人的现实生存境况问题是马克思以及西方马克思主义学者一直关心的重要问题,基于现时代科技日益发达的现状,人的生存境遇呈现出更为复杂且严重的问题。承继《物体系》对消费社会现象的论说逻辑,鲍德里亚将批判视角由物转向符号,运用符号学的分析方法著述《消费社会》,指认现代社会已经由生产社会向消费社会转型,人们的全部的社会生活活动都处于消费社会“符号逻辑”运行的严密控制之下,进一步澄明现代资本主义社会中人的非人化
重力坝是水利工程中最常用的主要水工建筑物之一。重力坝的抗滑稳定问题是一个古老而有普遍的问题,同时又是一个直接影响工程安全、投资、工期的重大关键技术问题。我国曾有20余座重力坝的建设均遇到此类问题的制约,如葛洲坝二江泄水闸、朱庄水库、双牌水库、大化水电站、长绍水电站、安康水电站、大黑汀水库、天生桥二级水电站、七里垅水库、恒仁水库、三峡大坝左岸厂坝、向家坝水电站等重力坝均遇到深层(浅层)抗滑稳定问题。
本文利用来自ISC数据和CEA数据中的近震和远震事件中的S波绝对走时残差对中国下方及邻边地区进行全球层析成像。相比于传统的利用相对走时残差的区域走时层析成像,考虑到了研
近年来,西方新公共服务理论传入我国并广泛传播,它把政府提供服务、对人的尊重、公共价值等理念摆在重要位置,因此大众开始重新审视政府公共服务,赋予其更高的要求。茶产业作为五峰土家族自治县的特色农产业,也是当地核心产业之一,由于受到多种主客观因素的影响,茶产业在五峰县境内并没有蓬勃发展,反而达到瓶颈期,陷入停滞。从中可以看出政府公共服务对于茶产业的发展,包括生产、加工、销售、推广等多个环节都起到至关重要
注册会计师通过对上市公司进行审计并发表审计意见,可以对该公司的财务信息的真实性做出保证。对于投资者来说事务所出具的审计意见是一个有力的参考,上市公司也会因此来规范自身的财务行为。从宏观层面来说,注册会计师的存在可以让资本市场平稳、有序地运转。因此注册会计师审计对于现代生活的发展具有十分重要的意义。然而,由于受到多种因素的限制,会计师事务所对企业审计失败的案例也频繁被曝光,给了投资者“当头一棒”,也
网络科技迅速发展,逐渐了影响人们生活的方方面面,也不可避免地改变了人们互帮互助的途径。当前越来越多的网络募捐平台如雨后春笋显露出来,人们在身患疾病、陷入困境向其他社会成员求助的场地也由“线下”转到“线上”。网络募捐平台的个人求助功能被越来越广泛的应用,不可否认网络募捐平台拓宽了社会救助的渠道,但近年来也是乱象横生。仅2019年,从德云社相声演员吴鹤臣的“诈捐”事件,到水滴筹与用户莫先生对簿公堂,再
随着嵌入式雷达信号处理领域数据量的不断增长以及人们对实时性要求的不断提升,传统的DSP处理器已经很难满足人们的需求,而FPGA凭借其超高的能耗比脱颖而出。但传统的FPGA开
全球导航卫星系统(Global Navigation Satellite System,GNSS)可以全天候、实时提供位置、速度和时间等信息,已经被广泛应用于军事、工业、交通等各个领域。保证导航卫星系统
作为现代我国医保制度能够实现长期可持续发展的重要物质以及资金支持,医疗保险基金关系着参保人员的医保权益,更关系着社会的和谐与稳定。医保基金规模的增大、覆盖范围的增加、服务能力的增强,也对医保基金监管工作提出了更高要求。本文首先介绍国内外医保基金监管现状,提出了本课题的研究目标、研究方法,通过阐释医保基金相关概念和医保监管的相关理论,引出山东省泗水县医疗保险基金监管的现状,并分别从监管政策制度不健全