基于非均衡信贷数据集的过采样技术比较研究

来源 :西南财经大学 | 被引量 : 0次 | 上传用户:sihuajian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当下这个数据膨胀的时代,世界各地发生了大量基于信用卡的交易,基于信用卡在线支付中的欺诈行为也急剧增加,这促使银行、信贷机构和电子商务组织实施自动欺诈检测系统,对大量交易日志进行数据挖掘,以对欺诈用户和非欺诈用户进行区分。机器学习似乎是发现非法交易的最有效的解决方案之一,机器学习算法模型使用从预筛选样本数据集中经过适当训练的二元分类系统来区分欺诈和非欺诈实例。但是,值得注意的是,欺诈检测数据集本质上是高度不平衡的。而数据类别分布不平衡给许多分类算法带来很大的影响,常见的分类算法无法有效地从不平衡数据中学习。在不平衡数据集上训练的分类器,往往倾向于将样本分类归属于多数类,而我们进行欺诈检测时更感兴趣的是发生欺诈违约的那少数类样本,这会大大降低二元分类器的有效性。过去几年,由于过采样技术的简单、易实现,常被用于缓解数据的不平衡现象,但是大多数现有的过采样器无法抵消少数群体内的不平衡,这在分类不均衡的数据集上通常是一个主要问题。基于此,本文基于SMOTE过采样技术提出了K-means聚类算法与SMOT过采样相结合的K-means SMOTE过采样技术,以重新平衡偏斜的数据集,它仅通过在安全区域中进行过采样来避免产生噪声。此外,它的重点放在类别之间的不平衡和类别内部的不平衡上,通过扩大稀疏的少数类区域来解决小的分离问题。本文选定LR、RF、SVC、XGBoost作为分类器来验证该采样技术的有效性,并对比分析了采用K-means SMOTE、SMOTE、Balanced、Weighted、ADASYN、Oversampling、Undersampling等过采样技术均衡后的数据集在本文选定分类器上训练的分类性能,实验结果证实K-means SMOTE采样技术能够带来分类器性能的提升。虽然K-means SMOTE技术取得了不错的结果,但是鉴于其在过采样时未考虑数据集的整体分布情况,且未考虑标签的分类情况,这种方法在减少误报的同时也可能会增加误报。基于此,本文引入了WCGAN过采样技术来解决数据集的分类不平衡现象。WCGAN在生成数据过程中考虑了标签的分布和真实的数据分布,能生成更实际的数据,而且WCGAN通过将GAN中的JS距离用EM距离替代,能有效避免模型训练过程中出现的模式坍塌和训练不稳定的情况,提高生成数据的质量。本文用分类性能最好的XGBoost算法来评估WCGAN生成数据的真实性,鉴于新的数据集的分类实现了平衡,从而模型性能的评估指标采用准确率作为最终评估指标。实验结果证实WCGAN过采样技术要优于其他过采样方法。
其他文献
学位
睡莲属植物是具有重要的经济、药用、生态修复功能和观赏价值的原始被子植物,为分析其叶绿体基因组编码区密码子的使用特征,以22种睡莲的叶绿体基因组密码子为研究对象,对睡莲叶绿体基因组密码子的偏好性及睡莲属植物间的系统进化关系进行了系统分析。结果表明,22种睡莲植物叶绿体基因组密码子适应指数(codon adaptation index,CAI)为0.168~0.170,有效密码子数(effective
本文通过对该区地层剖面及古生物的初步研究,发现在震旦系——寒武系边界层位存在有丰富的小壳化石、三叶虫、古介形虫、海绵、遗迹化石及迭层石等。笔者根据国际地科联关于层型剖面的标准,对本区震旦系——寒武系界线的划分进行了论述,提出了新的看法,并与邻区作了对比。
期刊
学位
学位
随着国家对外开放、对内支持个体经济,上世纪末国内涌现出一批成长强劲的民营企业,企业壮大亟需大量资金支持,而彼时国内多层次融资渠道还不健全:银行贷款偏向国有大型企业,主板市场门槛高。巨大的前期研发、广告支出,使这些渴望发展的中国企业只能远赴成熟广阔的欧美资本市场上市融资。出于对中国经济前景的看好,它们受到了海外投资者的热捧,这类海外上市,但主要业务与资产在中国的股票被称为中国概念股,简称中概股,我们
近年来,儿童文学作品在国内外受到越来越多的关注。为进一步了解国外优秀的儿童文学作品,翻译成为了最有效的方式之一。但目前,从国外引进的儿童文学作品来看,主要以童话故事和冒险故事为主,译介对于有着多元文化背景的历史类儿童小说引进力度远远不够。因此,针对这类文学作品,应运用恰当的翻译策略,来提升译文质量,增强少年儿童的阅读兴趣,扩大优秀的外国儿童文学作品在国内的传播面。《深夜日记》以作者维拉·赫然安达尼
农业是国民经济的基础,也是社会安定、国家自立的基石。农村经济的发展离不开农村金融的支持。当前,农户“融资难”与金融机构在农村“获客难”共存,成为农村金融市场难以突破的瓶颈。农业仍是国民经济的“短腿”,农村仍是国家发展的“短板”。农村经济最重要经营主体仍以小农户为主,生产加工方式简单,产业链、价值链短,产业竞争力弱,且容易受自然和市场双重风险影响,农户信贷风险相对较高,因而不受农村金融机构青睐。同时
布袋兰亚族(Calypsoinae)属于兰科(Orchidaceae)树兰亚科(Epidendroideae)树兰族(Epidendreae),共有12个属79个种,是北半球的广布类群。布袋兰亚族具有丰富的形态学和生活习性的变异,根据碳源利用的不同,有自养和异养两种营养型兰花,因此是用来研究不同营养型兰花叶绿体基因组进化规律的良好材料。本研究利用三代测序技术组装注释了异养兰花杨氏丹霞兰(Danxi
随着我国老龄化程度逐渐加深,老年人生活质量的问题受到了更多的关注。老年人在脱离工作场所回归到社区生活后,其社会交往活动减少,社交圈逐渐缩小,生理功能逐渐衰退,心理上产生无助、孤寂和失落感,这些方面都会让老人可获得社会资源减少,可利用的社会资本也逐渐减少。参与志愿服务活动是老年人扩张个人社会资本的重要途径。目前对于老年志愿者的研究都集中在老年人参与志愿服务的功能、发展、现状上,对于老年人参与志愿服务