论文部分内容阅读
【摘要】本文对Stein型根方估计[1]进行了进一步的讨论，计算出其均方误差和均方残差，并给出了M（s）[2]准则，然后计算出了在M（s）准则Stein型根方估计的s与c的关系，找出了Stein型根方估计的最优估计.
【关键词】Stein型根方估计；均方误差；均方残差M（s）准则
对于线性回归模型Y=Xβ ε，E（ε）=0，Cov（ε）=σ2In.本文讨论当模型的设计阵病态时，因为X′X的某些特征根λi几乎为零，这时最小二乘估计的均方误差MSE（β^）=σ2∑pi=11λi变得很大，这说明最小二乘估计值与真值之间有很大的偏差，所以那些小于1的特征根对MSE（β^）值的影响很大，根方估计[3]就是通过将这些小于1的特征根进行k-1次方（01），自然也能达到减小均方误差MSE（β^）目的.将这两种估计综合一下进行研究，就给出了一种新的估计.
一、叙述模型及估计量
对于线性回归模型：
Y=Xβ ε，E（ε）=0，Cov（ε）=σ2In，（1.1）
其中，Y是n维观测向量，β是p维未知参数向量，X是n×p设计阵，ε是n维随机误差向量，In为单位阵，Rank（X）=p.
定义1.1[1]对于线性回归模型（1.1），称
β^（k）（c）=c-1（X′X）k-1X′Y，0≤k<1，c≥1（1.2）
为参数β的Stein型根方估计，其中（X′X）k-1定义为[1]
（X′X）k-1=Qλk-11λk-12λk-1p Q′，（1.3）
其中，λ1≥λ2≥…≥λp>0是X′X的特征根，Q是X′X的特征向量矩阵，并且QQ′=1.
很容易得到Stein型根方估计（1.2）有以下特殊情况：
（1）当c=1，k=0时，β^（k）（c）=（X′X）-1X′Y，就是最小二乘估计；
（2）当c=1，0 （3）当c>1，k=0时，β^（k）（c）=（cX′X）-1X′Y，就是Stein估计.
对于线性模型（1.1）里面的X为可知的列满秩矩阵，y是n×1维观察向量，β是p×1维未知参数向量，rk（X）=p≤n，σ2≥0是未知的参数，ε是n×1随機误差向量，In是n阶的单位矩阵.E（ε）表示ε的数学期望，Cov表示协方差矩阵.在线性模型（1.1）中引入变量Z=XQ，α=Q′β，其中Q′为p阶的正交矩阵，它的列向量是X′X的特征向量，Λ=diag（λ1，…，λp），λj≥0是X′X的特征根，这样模型可以得到（1.1）的典则形式
y=Zα ε，E（ε）=0，Cov（ε）=σ2In.（1.4）
这时Z′Z=Q′X′XQ=Λ.那么典则参数α的最小二乘估计是=Λ-1Z′y，并且MSE（α）=σ2∑pi=11λi.
我们可以得出模型（1.4）中α的Stein型根方估计[1]
α（k）（c）=c-1Λk-1Z′y=Q′β（k）（c）.
性质1.1Stein根方估计β^（k）（c）是β的线性有偏估计.
证明定义1.1
β^（k）（c）=c-1（X′X）k-1X′Y=c-1（X′X）kβ^，
有E（β^（k）（c））=c-1（X′X）β≠β，0≤k<1，c≥1.
性质1.2在模型（1.1）下，记M（c，k）=MSE（β^（k）（c）），Stein型根方估计的均方误差为
M（c，k）=σ2c-2∑pi=1λ2k-1i ∑pi=1（c-1λki-1）2α2i，（1.5）
其中，α=Q′β，λ1≥λ2≥…≥λn>0，0≤k<1，c≥1.
性质1.3在模型（1.1）下，记ΔMSR（β^（k）（c））是Stein型根方估计的均方残差[2]为
ΔMSR（β^（k）（c））=∑pi=1（σ2 α2λ）（λk-c）2c2.（1.6）
证明ΔMSR（β^（k）（c））=E‖Zα（k）（c）-Z‖2
=E‖Z[c-1Λk-1-Λ-1]Z′y‖2
=σ2tr[Z（c-1Λk-1-Λ-1）Z′Z（c-1Λk-1-Λ-1）Z′]
（Ey）′[Z（c-1Λk-1-Λ-1）Z′Z（c-1Λk-1-Λ-1）Z′]Ey
=σ2tr[Λ2（c-1Λk-1-Λ-1）2] α′Λ3（c-1Λk-1-Λ-1）2α
=∑pi=1（σ2 α2λ）（λk-c）2c2.
二、M（s）准则
定义2.2在Stein型根方估计中，我们称
M（s）=sMSE（β～（k）（c）） （1-s）ΔMSR（β～（k）（c））（2.1）
为M（s）准则.这里s∈[0，1]是给定的常数.选出c令M（s）最小，从而找出β（k）（c）的最优估计.
三、β（k）（c）在M（s）准则下的优良性
把（1.5）和（1.6）代入到（2.1）中，我们得到
M（s）=s（σ2c-2λ2k-1i （c-1λki-1）2）α2 （1-s）（c-2（σ2 α2λi）（λki-c）2）.（3.1）
然后我们对（2.2）中的c求偏导数
M（s）c=-2sσ2c-3λ2k-1i-2sα2c-3λ2ki 2sα2c-2λki
（1-s）[-2c-3λ2ki（σ2 α2λi） 2c-2λki（σ2 α2λi）]
=2sc-2λki[α2-c-1λki（σ2λ-1-α2）]
（1-s）[（2c-2λki-2c-3λ2ki）（σ2 α2λ）]
令上式等于零，得出结果c（s），这时的β（k）（c）为Stein型根方估计中M（s）准则下的最优估计.
四、结语
通过计算我们得出，只有当c和s的关系满足c（s），我们才能得出Stein型根方估计中M（s）准则下的最优估计.
【参考文献】
[1]申洁丽.线性回归模型参数的Stein型根方估计[D].长沙：湖南大学，2012.
[2]王志福.岭估计中参数选择的一种新方法[J].锦州师范学院学报，2003（1）：51-53.
[3]夏结来.回归系数的根方有偏估计及其应用[J].数理统计与应用概率，1988（1）：21-29.
[4]Stein C.Inadmissibility of the Usual Estimator for the Mean of a Multivariate Normal Distribution[J].Proc Third Berkeley Symp.Math.Statist.Prob.，1956（1）：197-206.
[5]王松桂.线性模型参数估计的新进展[J].数学进展，1985（14）：193-204.
【关键词】Stein型根方估计；均方误差；均方残差M（s）准则
对于线性回归模型Y=Xβ ε，E（ε）=0，Cov（ε）=σ2In.本文讨论当模型的设计阵病态时，因为X′X的某些特征根λi几乎为零，这时最小二乘估计的均方误差MSE（β^）=σ2∑pi=11λi变得很大，这说明最小二乘估计值与真值之间有很大的偏差，所以那些小于1的特征根对MSE（β^）值的影响很大，根方估计[3]就是通过将这些小于1的特征根进行k-1次方（0
一、叙述模型及估计量
对于线性回归模型：
Y=Xβ ε，E（ε）=0，Cov（ε）=σ2In，（1.1）
其中，Y是n维观测向量，β是p维未知参数向量，X是n×p设计阵，ε是n维随机误差向量，In为单位阵，Rank（X）=p.
定义1.1[1]对于线性回归模型（1.1），称
β^（k）（c）=c-1（X′X）k-1X′Y，0≤k<1，c≥1（1.2）
为参数β的Stein型根方估计，其中（X′X）k-1定义为[1]
（X′X）k-1=Qλk-11λk-12λk-1p Q′，（1.3）
其中，λ1≥λ2≥…≥λp>0是X′X的特征根，Q是X′X的特征向量矩阵，并且QQ′=1.
很容易得到Stein型根方估计（1.2）有以下特殊情况：
（1）当c=1，k=0时，β^（k）（c）=（X′X）-1X′Y，就是最小二乘估计；
（2）当c=1，0
对于线性模型（1.1）里面的X为可知的列满秩矩阵，y是n×1维观察向量，β是p×1维未知参数向量，rk（X）=p≤n，σ2≥0是未知的参数，ε是n×1随機误差向量，In是n阶的单位矩阵.E（ε）表示ε的数学期望，Cov表示协方差矩阵.在线性模型（1.1）中引入变量Z=XQ，α=Q′β，其中Q′为p阶的正交矩阵，它的列向量是X′X的特征向量，Λ=diag（λ1，…，λp），λj≥0是X′X的特征根，这样模型可以得到（1.1）的典则形式
y=Zα ε，E（ε）=0，Cov（ε）=σ2In.（1.4）
这时Z′Z=Q′X′XQ=Λ.那么典则参数α的最小二乘估计是=Λ-1Z′y，并且MSE（α）=σ2∑pi=11λi.
我们可以得出模型（1.4）中α的Stein型根方估计[1]
α（k）（c）=c-1Λk-1Z′y=Q′β（k）（c）.
性质1.1Stein根方估计β^（k）（c）是β的线性有偏估计.
证明定义1.1
β^（k）（c）=c-1（X′X）k-1X′Y=c-1（X′X）kβ^，
有E（β^（k）（c））=c-1（X′X）β≠β，0≤k<1，c≥1.
性质1.2在模型（1.1）下，记M（c，k）=MSE（β^（k）（c）），Stein型根方估计的均方误差为
M（c，k）=σ2c-2∑pi=1λ2k-1i ∑pi=1（c-1λki-1）2α2i，（1.5）
其中，α=Q′β，λ1≥λ2≥…≥λn>0，0≤k<1，c≥1.
性质1.3在模型（1.1）下，记ΔMSR（β^（k）（c））是Stein型根方估计的均方残差[2]为
ΔMSR（β^（k）（c））=∑pi=1（σ2 α2λ）（λk-c）2c2.（1.6）
证明ΔMSR（β^（k）（c））=E‖Zα（k）（c）-Z‖2
=E‖Z[c-1Λk-1-Λ-1]Z′y‖2
=σ2tr[Z（c-1Λk-1-Λ-1）Z′Z（c-1Λk-1-Λ-1）Z′]
（Ey）′[Z（c-1Λk-1-Λ-1）Z′Z（c-1Λk-1-Λ-1）Z′]Ey
=σ2tr[Λ2（c-1Λk-1-Λ-1）2] α′Λ3（c-1Λk-1-Λ-1）2α
=∑pi=1（σ2 α2λ）（λk-c）2c2.
二、M（s）准则
定义2.2在Stein型根方估计中，我们称
M（s）=sMSE（β～（k）（c）） （1-s）ΔMSR（β～（k）（c））（2.1）
为M（s）准则.这里s∈[0，1]是给定的常数.选出c令M（s）最小，从而找出β（k）（c）的最优估计.
三、β（k）（c）在M（s）准则下的优良性
把（1.5）和（1.6）代入到（2.1）中，我们得到
M（s）=s（σ2c-2λ2k-1i （c-1λki-1）2）α2 （1-s）（c-2（σ2 α2λi）（λki-c）2）.（3.1）
然后我们对（2.2）中的c求偏导数
M（s）c=-2sσ2c-3λ2k-1i-2sα2c-3λ2ki 2sα2c-2λki
（1-s）[-2c-3λ2ki（σ2 α2λi） 2c-2λki（σ2 α2λi）]
=2sc-2λki[α2-c-1λki（σ2λ-1-α2）]
（1-s）[（2c-2λki-2c-3λ2ki）（σ2 α2λ）]
令上式等于零，得出结果c（s），这时的β（k）（c）为Stein型根方估计中M（s）准则下的最优估计.
四、结语
通过计算我们得出，只有当c和s的关系满足c（s），我们才能得出Stein型根方估计中M（s）准则下的最优估计.
【参考文献】
[1]申洁丽.线性回归模型参数的Stein型根方估计[D].长沙：湖南大学，2012.
[2]王志福.岭估计中参数选择的一种新方法[J].锦州师范学院学报，2003（1）：51-53.
[3]夏结来.回归系数的根方有偏估计及其应用[J].数理统计与应用概率，1988（1）：21-29.
[4]Stein C.Inadmissibility of the Usual Estimator for the Mean of a Multivariate Normal Distribution[J].Proc Third Berkeley Symp.Math.Statist.Prob.，1956（1）：197-206.
[5]王松桂.线性模型参数估计的新进展[J].数学进展，1985（14）：193-204.