【摘 要】
:
随着大数据时代的到来,通过数据挖掘获取信息已经成为常态,然而我们获取的数据大多数情况下都是含有缺失值的,也就是说数据是不完整的。然而很多统计方法在做数据分析时,都需要完整数据才能研究。数据缺失普遍发生在各个研究领域中,对缺失数据的处理已经不能局限于忽略或者直接删除,数据插补法逐渐活跃起来。本文主要探讨的是多种插补方法对于分类型缺失变量和连续型缺失变量的插补效果。在探究分类缺失变量的插补方法时,首先
论文部分内容阅读
随着大数据时代的到来,通过数据挖掘获取信息已经成为常态,然而我们获取的数据大多数情况下都是含有缺失值的,也就是说数据是不完整的。然而很多统计方法在做数据分析时,都需要完整数据才能研究。数据缺失普遍发生在各个研究领域中,对缺失数据的处理已经不能局限于忽略或者直接删除,数据插补法逐渐活跃起来。本文主要探讨的是多种插补方法对于分类型缺失变量和连续型缺失变量的插补效果。在探究分类缺失变量的插补方法时,首先画出受试者工作特征(ROC)曲线,再计算此曲线下的面积AUC值。通常AUC值越大,分类器性能越好,其插补效果也更好。并且我们发现在一定程度内的缺失下,尽管缺失率不同,分类插补方法的插补效果优劣排序并不会发生太多变化。在研究连续型缺失变量时,我们在各个插补方法效果的比较上既使用了反映真值与插补值数值误差的比较指标,平均绝对误差(MAE)、均方误差(MSE)和均方根误差(RMSE);还使用到了模型误差的比较,计算了各个插补方法插补之后得到的完整数据的模型系数与真实数据的模型系数之间的角度和平方误差,来判别各个插补方法对于模型的影响程度。并且发现缺失率不同,各个插补法的效果相对而言会有所变化。当缺失程度较低时,决策树确实会有不错的插补效果,但是随着数据缺失率的增大,它的插补效果相对而言逐渐减小,而此时多重插补法以及随机森林插补法的插补效果相对地逐渐提升。
其他文献
随着我国经济快速发展,对外经济交流不断增加,“一带一路”等战略的实施,我国需要更为有竞争力的产品或服务来增强我国企业的市场占有率,为我国经济发展贡献力量。根据我国最新的《产业技术创新能力发展规划(2016-2020年)》明确指出,我国产业技术创新发展能力与发达国家比较而言依然存在不小的差距,主要是由于我国核心关键技术研发不足,因此我国要不断推进产业技术创新能力建设。根据我国“十三五规划”的内容,要
“学习机会”最初是用来解释学生学习效果差异的外部原因,如今人们更倾向于关注在教学过程中学生真正参与学习的可能性。课堂提问作为学习机会的一种方式,是日常教学当中师生之间进行互动必不可少的一部分。从学习机会的角度对课堂提问进行研究,探究数学教师课堂提问的现状以及学生获得答问机会的情况,对数学课堂教学理论的发展具有十分重要的意义。在对大量有关“学习机会”和“课堂提问”的相关文献进行阅读、分析与整理的基础
问卷调查是目前进行社会调查、科学研究最常用的方法,广泛应用于政治经济社会生活调查的方方面面,其优势在于可以获得一手的调查资料,采用简单随机抽样的方法选取接受调查的人群,旨在以一定的精度来通过样本来对总体进行推断,并设计结构化的题目来获得被调查者的相关信息。但在实际调研中,往往存在诸多因素而导致被调查者拒绝回答某些问题,即出现无回答现象,无回答造成的缺失数据会对统计推断造成影响,得到错误的调查结论。
金融风险得到良好的管理与控制,对维系全球金融系统稳定、促进实体经济增长具有重要意义。目前全球对金融风险的主要测度指标是VaR,VaR即某种风险损失数额分布的一个分位数,但是由于金融数据的特性,就如何对VaR进行有效的计量,仍然没有一个较为稳定有效的方法。传统的对VaR的计量法主要分为参数法和非参数法,参数法对金融数据做出一定的假设,而现实中这种假设难以满足,非参数法又对数据的利用程度有限,容易造成
近年来,我国互联网技术发展迅速,随着“互联网+金融”理念的不断推进和国家对民营银行的一系列引导政策出台,互联网银行应运而生。2014年12月,我国首家互联网银行——微众银行宣布开业,开启了我国互联网银行的元年。互联网银行依托于金融科技,纯在线运营,无线下网点,具有服务不受时空限制、营业成本低、获客能力强等特点,定位于长尾市场,对于推进我国普惠金融的建设、丰富我国的金融机构体系具有重要的意义。新网银
非正规就业在我国城市化进程中扮演者重要作用,但城市规划学界却较少关注非正规就业群体的基础空间行为尤其是职住地决策的规律。基础认知的缺失导致了空间干预政策对非正规就业群体产生了严重负效应。本文的整体上是对非正规就业群体职住关系的基本特点及影响职住关系的因素及机制作一项调查报告。据此提出2个主要研究问题:第一、正规和非正规就业群体,以及不同社区的非正规就业群体的职住关系、职住偏好和流动性有哪些差异化特
随着时代的发展,现在的社会充满了大量与人们生活息息相关的数据。例如中考分数、大学综合排名、专业就业率等都是大量数据的表现。人们的生活需要对数据信息进行分析对结果做相应的决策。这就需要学生具备一定的数据分析能力,掌握一定的数据分析方法。PBL教学法是学生基于问题在自主和合作学习过程中,通过与小组成员合作交流解决实际问题的一种教学方法,其理念符合新课改要求。新课改提倡在学习过程中,应以学生为主、教师为
儿童是祖国的花朵,是未来的希望,但近年来层出不穷的虐童事件却给儿童的健康发展蒙上了一层阴影。已经有研究证明,辱骂、殴打以及性虐待等儿童创伤经历会严重影响到一个人的身心健康,不仅仅当时对儿童造成伤害,还在更长久的影响一个人的一生,有过儿童期创伤经历的人在成年后表现出更多的各种社会适应不良问题和反社会行为。此外,青少年问题行为一直是心理学界和教育界关注的重点领域。打架、逃课、吸烟以及自伤等问题行为会影
改革开放以来,我国农村经济快速发展,农业产量连年增收,农民的生活越来越好。然而与此同时,农村的资源环境状况却越来越不容乐观。面临这样的困境,很多国家开始实行农业生态补偿政策。农业生态补偿政策是目前改善农村生态环境质量、协调环境保护与生产发展之间矛盾的重要手段。展开农户生态补偿受偿意愿影响因素的研究,可以为农业生态补偿政策的制定和推行提供依据。本文随机选取成都市温江区101名农户为调研对象,将农户的
在企业的经营管理中,汇率风险已经成为其面对的主要风险之一。“811汇改”拉开了新一轮人民币汇率形成机制改革的帷幕,人民币兑美元汇率从持续升值转为阶段性贬值。人民币汇率波动对中国企业究竟有何影响?企业汇率风险对冲策略有哪些?其效果如何?这些问题对于深入理解人民币汇率波动的影响机制,分析汇率波动对我国进出口和经济发展的影响,完善我国跨国公司的汇率风险管理具有重要意义。在此背景下,本文考察了海尔智家的人