多分类不平衡数据预处理技术和算法改进

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:robinlaikankan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现代社会是一个信息社会,每时每刻社会中都会产生大量复杂的数据,而如何从数据中获取有价值的信息是人们一直探求的。在处理分类数据集时,实际数据集中经常会出现类不平衡现象,即某一类数据比例远远大于其他类比例。这其中尤以多分类不平衡问题最为常见,但传统的分类算法都是基于平衡数据集设计的,因此多分类不平衡数据的分类问题是一项非常具有实际意义的研究课题。对多分类不平衡问题的解决策略可分为数据预处理和算法层面,重采样方法用于数据预处理阶段,而对集成学习方法的改进是基于算法层面的重要改进之一,本文的研究工作主要围绕以上解决策略进行,主要包括:(1)Mahalonobis Distance-based Over-sampling(MDO)是一种新颖的过采样方法,该方法使得新合成的少数类样本具有形同的马氏距离,保持了样本集合整体协方差不变。但该方法选取的少数类样本合成空间容易导致相互重叠,合成出的少数类样本仍然有过度重叠的问题。为了解决MDO合成少数类样本容易过度重叠问题,增加平衡后样本的区分度,使得平衡后的数据样本与原始样本集合更一致,本文提出了改进的过采样方法——Improved Mahalonobis Distance-based Over-sampling(IMDO)。IMDO算法采用Fisher判别准则进行样本点投影与合成,选择组内方差最小,组间方差最大的方向投影合成,有效降低了侵入其他类空间进行少数类样本合成的风险。(2)在集成学习方面,随机森林是一种优秀的集成学习方法,采取Bagging袋装,多数投票决定最终分类结果,有效减小了分类结果的方差,但分类误差却并未得到有效减少。对于随机森林算法对误差降低有限的问题,采取了随机森林进行二次加权的方法,得到加权随机森林(WRF)。根据每棵树的叶子结点分类正确率,采用线性加权方式,重新赋予每棵树不同的权重,让分类效果好的树在森林中保持较大的权重,降低分类错误率高的树权重。这样在最终投票时,能提高分类效果。(3)将IMDO和WRF两种方法进行结合,形成了本文最终的混合集成处理技术IMDO_WRF,该方法能有效适用于处理多分类不平衡数据集。本文选用了ACC、MAUC、F-measure、G-mean、Precision和Recall六个指标,并在10个多分类不平衡数据集上设计实验来衡量算法的性能,实验结果验证了IMDO_WRF相比其他不平衡数据处理技术具有显著的优势与稳定性。
其他文献
针对相变微胶囊耐温性差,其纺织品调温性能评价研究较少等问题,开发了一种以异佛尔酮二异氰酸酯为壁材单体,三乙醇胺为扩链剂,十八烷为芯材,制备相变微胶囊的方法,并对所得微胶囊的耐温性进行研究。结果表明,相变微胶囊D50粒径为8.173μm,DSC测试微胶囊的焓值为188.90 J/g。利用浸轧法制备双向调温非织造布,其最高升温温差5.0℃,最大降温温差-1.8℃,表明该调温非织造布热时凉感明显,冷时能
在互联网经济飞速发展的今天,消费者在享受网络购物便利的同时,也感受到了诸多的困扰。市场激励的竞争,使得产品更新换代加快,新旧产品之间的差异越来越小,且新生品牌和小众品牌为了提高知名度和销量,会选择模仿知名度较高、深受消费者信任的品牌产品。海量的产品种类及产品信息、难以区分的新旧产品差异、复杂的产品功能以及模糊的产品介绍等问题会导致消费者产生困惑,越来越难做出购买决策。消费者为降低困惑会采取不同的方
为了促进跨区域的经济合作与技术交流,构建与“一带一路”沿线国家沟通的经济发展链,变轨距转向架列车通过改变轮对内侧距以适应不同轨距线路的行驶,其发展可以有效地解决轨距差异带来的铁路运输问题。开发的变轨距转向架装载于客运列车上,其不仅要适应不同轨距线路的行驶,而且还应满足标准规定的良好的动力学性能,开发变轨距列车的可变悬挂系统是较好的解决措施之一。随着轨道列车可变悬挂系统的发展,半主动悬挂系统是更具实
党的十九届六中全会审议通过的《中共中央关于党的百年奋斗重大成就和历史经验的决议》(以下简称《决议》),是一篇马克思主义的纲领性文献,是新时代中国共产党人牢记初心使命、坚持和发展中国特色社会主义的政治宣言,是以史为鉴、开创未来,实现中华民族伟大复兴的行动指南。思想政治理论课作为落实立德树人根本任务的关键课程,是党的十九届六中全会精神进教材、进课堂、进学生头脑的主渠道。下面就六中全会精神如何融入“马克
伴随职业技术教育的快速发展,职业学校在校学生数量急剧增加,学生心理问题愈发多样性,一定程度上,加快职校生全面发展是最主要的教学目标。对于职业院校心理健康教育而言,依据学生心理特点开展工作与心理健康教育方法相比,职业院校团体心理辅导具备一定的优势价值。心理健康教育工作者探究团体心理辅导途径极为重要,具有一定的现实意义,目的是为了给予学生以帮助,帮助其健康成长。本文深入分析了团体辅导在职校学生心理健康
中国陶瓷文化历史悠久,博大精深。它记录了优秀的传统文化与审美观念的变化。文章以中国陶瓷工艺的特征与发展为研究对象,论述了陶瓷的历史发展进程中陶瓷制作工艺流程由繁杂到简单的发展过程、各个时代生产陶瓷的目的,同时,对陶瓷文化的传承与创新进行阐述。
幼儿教师作为幼儿教育的直接实施者,其对学前融合教育的认同度直接影响我国融合教育的发展。本研究采用问卷调查法,对在职和职前幼儿教师对学前融合教育的认同度进行调查研究。研究发现,幼儿教师对实施学前融合教育持基本认可的态度,在职教师比职前教师的认同度更高。幼儿教师对学前融合教育的认同度受教师接触的特殊儿童类型、残疾程度以及自身融合教育能力等多方面的影响。