变量选择在现代统计学中占有越来越重要的地位,近年来由Tibshirani提出来的LASSO方法受到了极大的关注。LASSO中惩罚函数的方法已经被用于各种模型中来解决实际问题。本文的研究主要分为两个部分:首先是在部分线性回归模型中比较了差分估计和SCAD,主要为了研究变量选择估计在其他更复杂的模型中的表现,研究其优劣性;其次是在线性模型中讨论了LASSO式惩罚函数在更复杂的数据集中的运用,本篇文章是将惩罚函数的思想运用到带有异常点的数据中,使惩罚函数思想的方法运用到更加实际的模型及数据集。本文主要是从变量选择的两个方面进行了深入的研究。(1)部分线性回归模型中改进的差分估计与SCAD的比较:本文考虑了部分线性回归模型中回归参数向量估计的问题,提出了具有更好性质的压缩差分估计,并且研究了它的渐近性质以及其风险函数。本部分还将SCAD的惩罚函数运用到模型中得到SCAD估计,然后通过Monte Carlo模拟了压缩差分估计和SCAD估计的相关结果,并对它们之间的优劣进行了比较。从我们的模拟结果中可以发现,在样本量较小的时候,SCAD估计的效果并不如成熟的差分估计和本文提出的压缩估计;但随着样本量的增加,SCAD估计的效果却越来越好。SCAD与众差分估计的比较将用表格和箱线图的形式展现出来。(2)在线性模型中研究带有异常点的非负变量选择的研究:本部分在SROS估计的基础上,介绍了SROS估计的相关性质:a、SROS估计是几乎回归等变的;b、SROS估计与ROS估计具有相同的失效值,并且ROS估计具有最大的失效值。在此基础上提出了非负SROS估计,并证明了在非负SROS不可忽略条件下,非负SROS是具有变量选择相合性的。在模拟部分,在三种不同的数据集中,通过残差平方和对比参数值分别比较了LTS估计,ROS估计,LAD-lasso估计,SROS估计以及非负SROS估计的效果。通过模拟可以发现,本文提出的非负SROS估计,在要求参数为非负的情况下,具有比较好的表现,模拟出的参数值也是这几个估计中最为接近真实值的。另外,在比较的过程中可以看到LAD-lasso估计也具有可取的优势。具体的结果将在后面的表格和分析中展现出来。