分位数回归的有效交互分布式估计与计算

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:SMXYIMASHI
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代的到来和蓬勃发展给现代统计分析理论带来了机遇也带来了挑战.大数据的特征表现在不仅是数据量大或维数高,而且往往呈现分布式存储的形式.在统计推断问题中,分位数回归作为近代统计中研究的热门方向,在处理回归问题中相比传统的均值回归具有独特的优势.它能够更加全面的描述解释变量对响应变量条件分布的全貌,而不是仅仅分析响应变量的条件期望(均值),也可以分析解释变量如何影响响应变量的中位数,分位数等.它能更加细致地刻画响应变量的尾部分布规律.分位数回归推断在一般的统计软件中都能操作,但是,在当前的大数据背景下,由于受到计算机存储和传输等方面的原因,传统的方法和软件已经变得不可行,因此利用分位数回归模型解决大数据回归问题也面临着巨大的挑战,解决这类问题具有深刻的理论意义和现实意义.如何利用这些分布式数据做出有效的统计推断自然是如今研究的热点问题之一.为了对分布式数据做出有效的分位数回归推断,同时,我们还要尽可能地降低数据传输的费用问题.我们提出了一种有效交互分布式方法解决了大数据下的分位数回归问题,我们研究了两种不同情形:(1)在处理低维的大数据分位数回归问题时,为了近似总的损失函数,我们定义一个替代的损失函数,它只依赖于主机上数据和其它机器局部数据的次梯度.在每一轮的交互中,我们只需要主机上计算M-估计问题,而其它机器只需要计算局部数据的次梯度.因此数据传输成本显著减少.我们采用当今最流行的交替方向乘子(alternating direction method of multipliers,ADMM)算法来解决目标函数不光滑带来的挑战.在理论上,我们在一般的条件下得到了分位数回归的有效交互分布式估计的相合性和渐近正态性,理论结果表明,只要我们选取较好的参数初始值,可以达到与将全部数据合在一起分析的Oracle方法相同的估计精度.(2)在处理高维稀疏的大数据分位数回归做变量选择问题时,在每一轮的交互中,我们只需要一台主机采用近似的ADMM算法来计算一个稀疏的带惩罚的分位数回归问题,其它机器只需要计算局部数据的次梯度.我们将提出的方法应用到变量选择常见的两种惩罚函数,包括ALasso和SCAD.在理论上,我们在一般的条件下得到了惩罚的分布式分位数回归做变量选择的渐近性质.随机模拟和真实数据结果表明,在处理低维的大数据分位数回归问题时,相比基于分块平均的大样本分位数回归方法(BAQR)和Oracle方法,我们的估计方法只需要经过少数几次交互计算就可以达到明显地要比BAQR方法有更小的估计误差,而这在异方差模型下差异更加的明显,在有些情形下甚至比Oracle方法估计的更加准确.在高维稀疏的大数据分位数回归做变量选择问题时,我们的方法可以在不损失任何统计准确度的情形下,得到的预测误差仍然可以与将全部数据一起分析的Centralized方法一致.
其他文献
文章通过回顾广州市户外招牌的发展历程,总结四个阶段的规划特点及衍生问题,在此基础上分析广州市的城市定位及尝试确立户外招牌的未来规划目标,针对三类核心问题提出设置、风貌、色彩、品牌、照明、门面、材质、结构、安装九个方面的技术论证方法,以期为当地的户外招牌规划设计提供新的角度,也为其他城市提供一定借鉴。
期刊
报纸
报纸
舆论失焦导致舆论焦点的偏移与发散,进而带来诸多负面影响。一是分散和浪费应对舆论的资源力量,影响主流媒体的正确舆论引导。二是舆论信息过载,淹没预警信息,造成舆情事件应对机制的失效。三是舆论过于发散,扩大谣言生成与传播空间,降低主流媒体公信力,甚至引发网络暴力,更甚者溢出网络空间引发公众恐慌,造成社会混乱等严重负面影响。文章通过分析全媒体时代舆论失焦现象的特征和影响、总结现行应对策略的内容和缺陷,探索
期刊
报纸
报纸
针对肝硬化患者糖尿病高流行率和非酒精性脂肪性肝病相关肝硬化日益增多的趋势,肝硬化合并糖尿病人群面临的诊断和治疗问题越来越突出。基于此,中国医药生物技术协会慢病管理分会组织消化病学、传染病学、内分泌学等领域专家,聚焦肝硬化患者糖尿病的分型和血糖管理,最终形成《肝硬化合并糖尿病患者血糖管理专家共识》。本共识总结了肝硬化合并糖尿病的患病率、发病机制、临床特征和转归,将肝硬化合并糖尿病分为4种类型,明确提
期刊
报纸
近年来,中成药在糖尿病肾脏病的治疗中应用广泛,其在改善临床症状、降低尿蛋白等指标方面具有显著疗效,然而中成药治疗糖尿病肾脏病的临床应用存在不合理情况,缺乏规范化指导。本共识依托天津市中医药学会糖尿病专业委员会,通过德尔菲法构建临床问题,在文献系统回顾的基础上,进行证据质量分级评价,再结合全国20家单位30余位中医、西医临床专家和方法学专家的推荐意见或共识建议而形成。本共识推荐了16种中成药用于糖尿
期刊
目的:观察奥敏清牙齿脱敏剂治疗龈上洁治术后牙齿牙本质敏感的疗效。方法:将接受龈上洁治术后出现牙齿敏感的71名患者(220颗患牙),随机分成3组,实验组74颗牙、实验对照组74颗牙、对照组72颗牙。实验组洁治术后即刻使用奥敏清涂布,治疗后继续使用奥敏清早晚涂抹一周,实验对照组即刻使用氟保护漆涂布脱敏,治疗后普通牙膏早晚涂抹一周,对照组洁治术后即刻和后续均有普通牙膏涂抹。数字疼痛评判法(VAS)对比三
期刊