论文部分内容阅读
众所周知,变量选择是统计建模和知识发现领域的非常重要的课题之一.随着高维数据分析需求的兴起,使得这一问题的研究显得更加突出而具有意义,所谓变量选择,是指在所有影响响应变量的各解释变量中,剔除对响应变量影响较小的一些变量,选择对出一组最优的解释变量的过程,多年来,为了能够选择出重要的解释变量,发展了许许多多的变量选择的方法。常用的传统变量选择方法有逐步回归、最优子集回归、岭回归(ridge)等,许多研究表明,传统的变量选择方法总是由于某些客观条件的限制,诸如P的维数很大等而表现的很吃力。基于惩罚函数类型方法的出现在很大程度上使得变量选择方法有了较大的发展,开创了变量选择方法的新景象.最近的文章当中,基于损失函数结合惩罚函数的变量选择方法受到越来越多的关注。Frank and Friedman(1993)提出的所谓桥回归(bridge),Tibshirani(1996,1997)在线性模型的假设下,提出了Lasso方法,且证明了Lasso具有子集选择方法的易解释性和岭回归(ridge regression)的稳定性.本文在线性模型假定下,基于损失函数加上惩罚函数类型的变量选择方法,结合近些年发展起来的经验似然方法和惩罚方法各自的优点,选取经验似然作为损失函数,选取Lq,0<q<1作为惩罚函数,发展了基于惩罚经验似然(PEL)的变量选择方法,给出了应用于变量选择的惩罚经验似然函数相关概念及惩罚经验似然函数构造推导过程。得到了Lq,0<q<1假定下,惩罚经验似然的变量选择的相合性和非零参数估计的渐近正态性,并且给出了相关定理的证明。给出了基于Lq,0<q<1惩罚函数的惩罚经验似然(PEL)的变量选择算法。而且本文采用数值模拟比较了本文的基于惩罚经验似然的变量选择方法(PEL)和桥回归(bridge)的表现,在本文提到的几种评价指标下,PEL变量选择方法相比较而言也具有一定的优势,而且在样本容量增加时,PEL方法效果得到更好的效果.
本文组织结构如下:
第一章主要介绍了变量选择的意义和重要性以及发展现状、经验似然的优点并且介绍了常用的变量选择方法,经验似然的概述及其发展现状。第二章在线性模型假设下结合Lq,0<q<1惩罚函数,给出了应用于变量选择的惩罚经验似然函数相关概念及惩罚经验似然函数构造推导过程。第三章得到了惩罚经验似然的变量选择定理,即变量选择的相合性和非零参数估计的渐近正态性,并且给出了相关定理的证明。第四章给出了基于Lq,0<q<1惩罚函数的惩罚最小二乘变量选择和惩罚经验似然(PEL)的变量选择算法及调整参数的选择准则.第五章采用数值模拟,借助SAS软件证实本文主要结果的正确性,特别是在数值方面给出了一些模拟结果并且讲述了本文提出的基于惩罚经验似然(PEL)的变量选择方法较之其它方法的优点.