胖(高)大数据的LASSO Logistic模型构建与应用——以贷款偿还与糖尿病两数据集为例

来源 :山东大学 | 被引量 : 0次 | 上传用户:yzqp178
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据收集和储存能力的大幅提高,大容量数据与高维数据频繁出现在许多科研领域,大数据的产生以及基于大数据的机器学习的广泛使用,对统计学产生了深刻影响。目前对于以样本容量超过样本维数为主要特征的高大数据,通常采用综合多种机器学习算法的随机森林方法进行求解,步骤繁杂且不易解释;对于以样本维数超过样本容量为主要特征的胖大数据,通常采用维数预降维、边际筛选等方法,将样本维数降低为便于建模的形式,容易遗漏重要变量信息且不易解释。本文的研究目的,是从当前大数据领域普遍面临的由于数据质量差导致预测效果不好的问题出发,对大数据的两种类型——“胖大数据”及“高大数据”,构建出兼具操作步骤简单、预测精度高、解释能力强优点的稀疏性模型,将其推广到信贷研究及其他领域。本文通过比较 LASSO Logistic 模型、Group LASSO Logistic 模型和 HierNet LASSO Logistic模型的优劣,针对变量间相互作用对结果产生与否具有重要影响的大数据问题,构建了兼具解释能力与预测精度的稀疏性模型。并且本文首次将其引入信贷领域的个人信用违约问题研究中,有效解决了传统建模方法步骤繁杂、预测精度低的问题。尤其是对于样本量小、维数高、数据信息量少所导致的预测效果差的情况,能够深入挖掘数据中蕴含的相关关系,显著提高预测效果,且模型操作简便,能够推广到具有相似数据特征的问题研究中,具有较强的实际意义。
其他文献
从1989年中国证券市场试点至今天,我国证券市场发展获得了一定的成绩,在这三十多年的发展演变历程中,股价指数在持续增长,中国证券市场投资者的数量也在不断增加,越来越多的投资者把股票投资视为投资理财的主要手段。我国证券市场的投资者主要以自然人为主,占比达到了百分之九十九以上,而个人投资者作为中国证券市场上较大的投资群体,其收益情况却并不乐观。金融知识作为投资者教育的核心内容,其对投资收益的影响比较复
学位
气候变化问题已成为当前人类社会面临的最严峻的挑战之一。特别是全球变暖,对自然环境造成了一系列的影响,使极端天气现象的发生日益频繁,影响着人们的生产生活。研究表明,碳排放与全球变暖具有显著联系。为此,国际组织及世界各国相继出台了一系列的低碳政策,如控制化石燃料的使用、优化能源消费结构、鼓励新能源产品的研发与普及等。我国也相应实行低碳政策,并于2020年提出了“碳达峰、碳中和”的目标。这些低碳政策的引
学位
随着全身治疗水平的提高,恶性肿瘤患者的生存期逐渐延长,脊柱转移瘤的发病率也逐年上升。手术联合放射治疗是脊柱转移瘤的主要治疗方案。传统开放手术创伤较大,术后并发症发病率相对较高,导致术后恢复期延长,后续治疗也被迫推迟。微创手术组织损伤小、术中失血量少、住院时间短、术后并发症少,术后可以在短时间内开展辅助治疗,因此愈发受到临床医师的重视。目前常用的微创治疗手段包括经皮椎体骨水泥增强术、经皮/小切口椎弓
期刊
当前我国经济正在由高速增长阶段迈向高质量发展阶段,金融与投资起着至关重要的作用。在我国,经济的发展一般会伴随着大量的金融错配,这种金融资源与企业产出效率的不匹配就会造成企业的非效率投资,不利于国民经济的高质量发展。金融资源配置偏离了帕累托最优配置状态,就会造成金融错配。而企业的非效率投资则可表现为过度投资与投资不足,产出高效的企业投资不足会制约企业的发展,产出低效的企业过度投资会造成资源的浪费。其
学位
党的十九大报告指出,我国正处在转变发展方式、优化经济结构、转换增长动力的攻关期。新的时代背景下,如何用最少的资源实现最大的效用、避免依赖要素投入的粗放式发展路径,是当前区域发展应该关注和解决的重点问题。建设用地作为一种特殊的资源影响着中国工业化和城镇化进程,其效率是衡量一个地区经济发展水平和资源利用效率的重要指标。但我国目前建设用地的利用效率普遍不高,存在着人为将土地资源向某个产业或地区倾斜,导致
学位
在国际贸易竞争力的分析中,显示性比较优势指标RCA在定量研究中发挥着重要的作用,但传统的RCA指标只考虑产品的出口地,却未能指明产品最终出口到哪个国家。本文对RCA进行了改进,得到既考虑出口地又考虑进口地的带方向性的RCA。使用带方向的RCA计算适应性复杂度指标并对算法进行修改后得到了出口地-产品复杂度与进口地-产品复杂度。根据出口地-产品与进口地-产品复杂度指标计算分别得到了出口地-产品复杂网络
学位
为了缓解“三农”和小微企业融资难和融资贵问题,我国央行在2014年推出了定向降准政策,通过调整存款准备金率引导银行信贷资金流向“三农”和小微企业这类定向部门。学术界关于定向降准政策实施效果的研究丰富,但商业银行作为定向降准政策的主要传导渠道,却只有少数学者对其在传递政策效应的同时所承担的风险进行探讨。2020年新冠疫情的爆发下,央行为了缓解中小微企业的压力再次使用定向降准政策。因此研究定向降准政策
学位
财经新闻是传递货币政策信息的重要渠道,在货币政策传导过程中,不同地区财经新闻报道的内容有所不同,金融机构对货币政策的解读也会有所不同,决策者对财经新闻所传递的货币政策的“误读”或“不确定”导致传达给银行的货币政策信息有偏差,使得银行信贷行为有松有紧,致使不同省份、不同银行的不良贷款率也不同。不良贷款率高,银行可能无法收回的贷款就越多,这意味着银行自身风险和导致系统性风险的可能,银行不良贷款是银行业
学位
随着各国经济实力的日益增长,全球经济的腾飞,人民可支配收入水平迈向更高台阶,家庭在金融市场中的重要地位日益凸显,家庭金融资产配置呈现多元化趋势。传统的资产组合理论坚持将资产的风险和收益作为影响金融资产配置的主要因素,然而随着“背景风险”一词逐渐进入大众视野,收入、性别、婚姻等因素纷纷成为家庭资产配置领域的研究对象。在Rosen和Wu于2004年开创性地将研究视角转向健康状况后,健康状况与家庭金融投
学位
原发性肝癌,特别是肝细胞肝癌,严重威胁我国人民的生命和健康。由于肝癌起病隐匿,首次诊断时只有不到30%的患者适合接受根治性治疗,系统抗肿瘤治疗在中晚期肝癌的治疗过程中发挥重要作用。近年来肝癌的免疫治疗飞速发展,越来越多的免疫治疗药物成为肝癌一线、二线治疗选择,较好地控制肝癌的进展,延长患者的生存时间。本文就近年来肝癌免疫治疗进展行简要综述。
期刊