基于单分类方法对高维不平衡数据的预测研究

来源 :南京财经大学 | 被引量 : 0次 | 上传用户:wafh000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的飞速发展与数据挖掘能力的增强,不平衡数据的预测变得越来越常见。由于少数类的稀疏,传统的二分类方法无法捕捉到足够的异常值信息,其预测结果往往偏向多数类,对于少数类的识别能力不足。而单分类方法对于类别分布的情况不做过高的要求,仅需单类数据的信息就可以构建有效的异常值检测模型。针对高维不平衡数据的预测问题,除了要应对类别不平衡的问题,还要对高维特征进行降维。所以本文在特征提取与特征选择这两种降维方式下,建立了基于单类支持向量机(OCSVM)、变分贝叶斯(CAVI)、逻辑回归(GEL)的单分类模型。为了体现单分类算法的优越性,本文还对比了基于SMOTE算法的二分类方法。在评价指标选取方面,ROC曲线比较注重模型整体的性能,对于数据集分类比例的变化并不会产生很大的波动,而PR曲线对于两类数据占比的变化十分敏感,相比ROC曲线更能体现出模型对少数类的预测精度。故本文以PR曲线的AUC值作为评价指标。为了探究预测模型的稳健性,本文进行了数值模拟。在实证分析部分,使用了福建某商业银行的小微企业信用贷款数据和中国家庭金融调查与研究中心收集的信用卡交易数据,在原有变量的基础上引入了各个变量之间的交互项,建立了一个高维不平衡数据。数值模拟和实际数据的结果表明:(1)单分类方法可以对高维不平衡数据进行有效的异常值检测,而传统二分类器在同等条件下丧失了对异常值的预测能力。(2)单分类方法的异常值检测能力会因为正常样本的占比的减少而减弱。(3)自变量之间的相关性越高,单分类方法的异常值检测能力就越弱。(4)无论是特征维数是否大于总体样本数量,单分类方法的预测能力都是很稳健的。(5)在PCA降维下单分类模型的表现要优于LASSO、XGBoost降维下的单分类模型。
其他文献
化石能源的过度消耗和日益恶化的环境促使清洁能源和新型储能系统的快速发展。超级电容器具有功率密度高、充放电速度快、安全性高、可逆性好和循环寿命长等优点,广泛用于电子设备、混合动力汽车、医疗设备等方面。多孔炭材料因具有高比表面积、良好的化学稳定性、优异的导电性和低成本等特点,作为超级电容器的电极材料而受到广泛关注。腐植酸来源广泛、廉价易得,是一种含有丰富官能团(如羧基、羟基、羰基、醌基和甲氧基等)以及
学位
近年来,我国女性劳动参与率不断下降,在低生育率的背景下,劳动力萎缩,人口结构急剧老化,从而关于延迟退休的讨论也愈发的激烈。本文根据中国家庭收入调查1995-2018年的数据、县域统计年鉴数据和来自百度地图的幼儿园分布数据探究影响城镇女性劳动供给变化的因素,重点关注生育负担的影响。本文根据特定年龄阶段的女性,将生育负担分为针对年轻女性的生育行为和幼儿养育,以及针对中年女性的隔代照料负担。在此基础上,
学位
烟用香精香料是烟草制品中不可或缺的辅料添加剂,用于改善卷烟的吸味品质,赋予卷烟特征香气,关系着卷烟品牌特征风味的构成和树立。因此,有效控制不同批次烟用料液的配制质量对提升和维护卷烟产品的质量具有重要的意义。目前对于烟用香精香料的质量控制主要是根据YC/T164-2012《烟用香精》中的相对密度、折光指数、酸值和挥发性成分总量四个物理指标以及感官评吸进行,由于物理指标测定方法的周期较长,无法快速批量
学位
国家大力推动少数民族地区旅游业发展,其根本目的在于改善当地民生,旅游业与民生相结合,才能最大限度发挥少数民族地区经济、文化、生态效益,从而提高人民生活水平。文章基于旅游惠民的视角,对当前内蒙古旅游业发展现状进行分析。首先,从生态环境、文化内涵、利益分配以及居民参与四个方面出发,探讨现阶段内蒙古地区旅游开发与民生发展之间的矛盾;其次,结合发展现状分析了矛盾产生的原因;最后,以改善民生为出发点和落脚点
期刊
自1994年我国实施最低工资制度以来,该制度带来的就业效应成为众多学者关注的热门话题,然而研究视角的不一致性使得研究结论也存在较大差异。由于劳动力市场之间的紧密联系以及劳动力在不同地区之间的自由流动,各省份就业呈现出空间相关性的特征。相关研究显示,劳动者的就业情况不仅受自身特征(如年龄、学历等)影响,还会受到所在地区经济发展状况的影响,故本文分别从微观和宏观两个层面研究最低工资标准对劳动者就业的影
学位
2018年,美国单方面宣布对中贸易制裁,意图通过提高关税的方式增加贸易壁垒,吸引海外制造业回归,严重破坏了世界经济产业合作共赢。2020年,突如其来的新冠疫情又一次对全球经济产生了沉重的打击。在此背景下,东盟主导签订了《区域全面经济伙伴关系协定》(RCEP),该协议旨在降低关税、提高成员国之间贸易开放程度,加强产业交流合作,展现了成员国致力于推动全球化进程的决心,是世界经济发展的一剂强心针。中国作
学位
本文采用等温溶解平衡法研究了三个四元体系K+//Cl-,H2PO4-,CO(NH2)2-H2O、NH4+,K+//Cl-,CO(NH2)2-H2O、K+,NH4+//Cl-,H2PO4--H2O以及两个三元体系K+,NH4+//Cl--H2O、K+//Cl--CO(NH2)2-H2O在313.15 K条件下的固-液相平衡,体系中的平衡固相均用湿渣法结合X射线衍射法共同鉴定,并绘制了相图。与文献报导
学位
重金属和芳烃类有害物质是水污染治理的重点控制目标,吸附法仍是这类污水处理技术中最实用的方法,其核心是吸附剂材料性能的优劣。城市生活污水处理普遍采用活性污泥法,剩余污泥是该工艺技术处理污水过程中的副产物,产量大,处理不当可能形成二次污染。论文以贵阳市小河污水处理厂剩余污泥为原料,通过活化、复合改性制备一类新型污水处理吸附材料[污泥/土豆(SL/PO),污泥/玉米秸秆(SL/CS)],研究其对含Cr(
学位
智慧旅游时代,游客更多利用互联网终端订购旅游产品、撰写旅游攻略、发布旅游感想及交流旅游体验,网络文本逐渐成为获取游客感知形象的重要数据来源。以内蒙古高A级景区为研究对象,开展游客感知分析,并获取重点关注点及问题点,以提升旅游品牌认同、推进区域旅游提质升级为指引,围绕内蒙古旅游形象塑造和旅游产业高质量发展提出策略和建议:强化基础设施,完善配套设施;注重生态保护,改善旅游软环境;科技赋能文旅,优化体验
期刊
就业是最大的民生,只有保障就业,才能为我国全面建设现代化强国打下坚实基础。自改革开放以来,大批农民工去往全国各地,有效解决了当地劳动力资源紧缺等问题,但随之而来的是农民工群体的切身利益比如工作机会、工资等遭受不同程度的损害。国家统计局的《农民工监测调查报告》显示,2015-2019年本地农民工月均收入持续低于外出农民工月均收入,且收入差距呈现明显扩大的趋势;农民工群体工资收入的内部异质性逐渐凸显。
学位