论文部分内容阅读
【摘要】本文对Stein型根方估计[1]进行了进一步的讨论,计算出其均方误差和均方残差,并给出了M(s)[2]准则,然后计算出了在M(s)准则Stein型根方估计的s与c的关系,找出了Stein型根方估计的最优估计.
【关键词】Stein型根方估计;均方误差;均方残差M(s)准则
对于线性回归模型Y=Xβ ε,E(ε)=0,Cov(ε)=σ2In.本文讨论当模型的设计阵病态时,因为X′X的某些特征根λi几乎为零,这时最小二乘估计的均方误差MSE(β^)=σ2∑pi=11λi变得很大,这说明最小二乘估计值与真值之间有很大的偏差,所以那些小于1的特征根对MSE(β^)值的影响很大,根方估计[3]就是通过将这些小于1的特征根进行k-1次方(01),自然也能达到减小均方误差MSE(β^)目的.将这两种估计综合一下进行研究,就给出了一种新的估计.
一、叙述模型及估计量
对于线性回归模型:
Y=Xβ ε,E(ε)=0,Cov(ε)=σ2In,(1.1)
其中,Y是n维观测向量,β是p维未知参数向量,X是n×p设计阵,ε是n维随机误差向量,In为单位阵,Rank(X)=p.
定义1.1[1]对于线性回归模型(1.1),称
β^(k)(c)=c-1(X′X)k-1X′Y,0≤k<1,c≥1(1.2)
为参数β的Stein型根方估计,其中(X′X)k-1定义为[1]
(X′X)k-1=Qλk-11λk-12λk-1p Q′,(1.3)
其中,λ1≥λ2≥…≥λp>0是X′X的特征根,Q是X′X的特征向量矩阵,并且QQ′=1.
很容易得到Stein型根方估计(1.2)有以下特殊情况:
(1)当c=1,k=0时,β^(k)(c)=(X′X)-1X′Y,就是最小二乘估计;
(2)当c=1,0 (3)当c>1,k=0时,β^(k)(c)=(cX′X)-1X′Y,就是Stein估计.
对于线性模型(1.1)里面的X为可知的列满秩矩阵,y是n×1维观察向量,β是p×1维未知参数向量,rk(X)=p≤n,σ2≥0是未知的参数,ε是n×1随機误差向量,In是n阶的单位矩阵.E(ε)表示ε的数学期望,Cov表示协方差矩阵.在线性模型(1.1)中引入变量Z=XQ,α=Q′β,其中Q′为p阶的正交矩阵,它的列向量是X′X的特征向量,Λ=diag(λ1,…,λp),λj≥0是X′X的特征根,这样模型可以得到(1.1)的典则形式
y=Zα ε,E(ε)=0,Cov(ε)=σ2In.(1.4)
这时Z′Z=Q′X′XQ=Λ.那么典则参数α的最小二乘估计是=Λ-1Z′y,并且MSE(α)=σ2∑pi=11λi.
我们可以得出模型(1.4)中α的Stein型根方估计[1]
α(k)(c)=c-1Λk-1Z′y=Q′β(k)(c).
性质1.1Stein根方估计β^(k)(c)是β的线性有偏估计.
证明定义1.1
β^(k)(c)=c-1(X′X)k-1X′Y=c-1(X′X)kβ^,
有E(β^(k)(c))=c-1(X′X)β≠β,0≤k<1,c≥1.
性质1.2在模型(1.1)下,记M(c,k)=MSE(β^(k)(c)),Stein型根方估计的均方误差为
M(c,k)=σ2c-2∑pi=1λ2k-1i ∑pi=1(c-1λki-1)2α2i,(1.5)
其中,α=Q′β,λ1≥λ2≥…≥λn>0,0≤k<1,c≥1.
性质1.3在模型(1.1)下,记ΔMSR(β^(k)(c))是Stein型根方估计的均方残差[2]为
ΔMSR(β^(k)(c))=∑pi=1(σ2 α2λ)(λk-c)2c2.(1.6)
证明ΔMSR(β^(k)(c))=E‖Zα(k)(c)-Z‖2
=E‖Z[c-1Λk-1-Λ-1]Z′y‖2
=σ2tr[Z(c-1Λk-1-Λ-1)Z′Z(c-1Λk-1-Λ-1)Z′]
(Ey)′[Z(c-1Λk-1-Λ-1)Z′Z(c-1Λk-1-Λ-1)Z′]Ey
=σ2tr[Λ2(c-1Λk-1-Λ-1)2] α′Λ3(c-1Λk-1-Λ-1)2α
=∑pi=1(σ2 α2λ)(λk-c)2c2.
二、M(s)准则
定义2.2在Stein型根方估计中,我们称
M(s)=sMSE(β~(k)(c)) (1-s)ΔMSR(β~(k)(c))(2.1)
为M(s)准则.这里s∈[0,1]是给定的常数.选出c令M(s)最小,从而找出β(k)(c)的最优估计.
三、β(k)(c)在M(s)准则下的优良性
把(1.5)和(1.6)代入到(2.1)中,我们得到
M(s)=s(σ2c-2λ2k-1i (c-1λki-1)2)α2 (1-s)(c-2(σ2 α2λi)(λki-c)2).(3.1)
然后我们对(2.2)中的c求偏导数
M(s)c=-2sσ2c-3λ2k-1i-2sα2c-3λ2ki 2sα2c-2λki
(1-s)[-2c-3λ2ki(σ2 α2λi) 2c-2λki(σ2 α2λi)]
=2sc-2λki[α2-c-1λki(σ2λ-1-α2)]
(1-s)[(2c-2λki-2c-3λ2ki)(σ2 α2λ)]
令上式等于零,得出结果c(s),这时的β(k)(c)为Stein型根方估计中M(s)准则下的最优估计.
四、结语
通过计算我们得出,只有当c和s的关系满足c(s),我们才能得出Stein型根方估计中M(s)准则下的最优估计.
【参考文献】
[1]申洁丽.线性回归模型参数的Stein型根方估计[D].长沙:湖南大学,2012.
[2]王志福.岭估计中参数选择的一种新方法[J].锦州师范学院学报,2003(1):51-53.
[3]夏结来.回归系数的根方有偏估计及其应用[J].数理统计与应用概率,1988(1):21-29.
[4]Stein C.Inadmissibility of the Usual Estimator for the Mean of a Multivariate Normal Distribution[J].Proc Third Berkeley Symp.Math.Statist.Prob.,1956(1):197-206.
[5]王松桂.线性模型参数估计的新进展[J].数学进展,1985(14):193-204.
【关键词】Stein型根方估计;均方误差;均方残差M(s)准则
对于线性回归模型Y=Xβ ε,E(ε)=0,Cov(ε)=σ2In.本文讨论当模型的设计阵病态时,因为X′X的某些特征根λi几乎为零,这时最小二乘估计的均方误差MSE(β^)=σ2∑pi=11λi变得很大,这说明最小二乘估计值与真值之间有很大的偏差,所以那些小于1的特征根对MSE(β^)值的影响很大,根方估计[3]就是通过将这些小于1的特征根进行k-1次方(0
一、叙述模型及估计量
对于线性回归模型:
Y=Xβ ε,E(ε)=0,Cov(ε)=σ2In,(1.1)
其中,Y是n维观测向量,β是p维未知参数向量,X是n×p设计阵,ε是n维随机误差向量,In为单位阵,Rank(X)=p.
定义1.1[1]对于线性回归模型(1.1),称
β^(k)(c)=c-1(X′X)k-1X′Y,0≤k<1,c≥1(1.2)
为参数β的Stein型根方估计,其中(X′X)k-1定义为[1]
(X′X)k-1=Qλk-11λk-12λk-1p Q′,(1.3)
其中,λ1≥λ2≥…≥λp>0是X′X的特征根,Q是X′X的特征向量矩阵,并且QQ′=1.
很容易得到Stein型根方估计(1.2)有以下特殊情况:
(1)当c=1,k=0时,β^(k)(c)=(X′X)-1X′Y,就是最小二乘估计;
(2)当c=1,0
对于线性模型(1.1)里面的X为可知的列满秩矩阵,y是n×1维观察向量,β是p×1维未知参数向量,rk(X)=p≤n,σ2≥0是未知的参数,ε是n×1随機误差向量,In是n阶的单位矩阵.E(ε)表示ε的数学期望,Cov表示协方差矩阵.在线性模型(1.1)中引入变量Z=XQ,α=Q′β,其中Q′为p阶的正交矩阵,它的列向量是X′X的特征向量,Λ=diag(λ1,…,λp),λj≥0是X′X的特征根,这样模型可以得到(1.1)的典则形式
y=Zα ε,E(ε)=0,Cov(ε)=σ2In.(1.4)
这时Z′Z=Q′X′XQ=Λ.那么典则参数α的最小二乘估计是=Λ-1Z′y,并且MSE(α)=σ2∑pi=11λi.
我们可以得出模型(1.4)中α的Stein型根方估计[1]
α(k)(c)=c-1Λk-1Z′y=Q′β(k)(c).
性质1.1Stein根方估计β^(k)(c)是β的线性有偏估计.
证明定义1.1
β^(k)(c)=c-1(X′X)k-1X′Y=c-1(X′X)kβ^,
有E(β^(k)(c))=c-1(X′X)β≠β,0≤k<1,c≥1.
性质1.2在模型(1.1)下,记M(c,k)=MSE(β^(k)(c)),Stein型根方估计的均方误差为
M(c,k)=σ2c-2∑pi=1λ2k-1i ∑pi=1(c-1λki-1)2α2i,(1.5)
其中,α=Q′β,λ1≥λ2≥…≥λn>0,0≤k<1,c≥1.
性质1.3在模型(1.1)下,记ΔMSR(β^(k)(c))是Stein型根方估计的均方残差[2]为
ΔMSR(β^(k)(c))=∑pi=1(σ2 α2λ)(λk-c)2c2.(1.6)
证明ΔMSR(β^(k)(c))=E‖Zα(k)(c)-Z‖2
=E‖Z[c-1Λk-1-Λ-1]Z′y‖2
=σ2tr[Z(c-1Λk-1-Λ-1)Z′Z(c-1Λk-1-Λ-1)Z′]
(Ey)′[Z(c-1Λk-1-Λ-1)Z′Z(c-1Λk-1-Λ-1)Z′]Ey
=σ2tr[Λ2(c-1Λk-1-Λ-1)2] α′Λ3(c-1Λk-1-Λ-1)2α
=∑pi=1(σ2 α2λ)(λk-c)2c2.
二、M(s)准则
定义2.2在Stein型根方估计中,我们称
M(s)=sMSE(β~(k)(c)) (1-s)ΔMSR(β~(k)(c))(2.1)
为M(s)准则.这里s∈[0,1]是给定的常数.选出c令M(s)最小,从而找出β(k)(c)的最优估计.
三、β(k)(c)在M(s)准则下的优良性
把(1.5)和(1.6)代入到(2.1)中,我们得到
M(s)=s(σ2c-2λ2k-1i (c-1λki-1)2)α2 (1-s)(c-2(σ2 α2λi)(λki-c)2).(3.1)
然后我们对(2.2)中的c求偏导数
M(s)c=-2sσ2c-3λ2k-1i-2sα2c-3λ2ki 2sα2c-2λki
(1-s)[-2c-3λ2ki(σ2 α2λi) 2c-2λki(σ2 α2λi)]
=2sc-2λki[α2-c-1λki(σ2λ-1-α2)]
(1-s)[(2c-2λki-2c-3λ2ki)(σ2 α2λ)]
令上式等于零,得出结果c(s),这时的β(k)(c)为Stein型根方估计中M(s)准则下的最优估计.
四、结语
通过计算我们得出,只有当c和s的关系满足c(s),我们才能得出Stein型根方估计中M(s)准则下的最优估计.
【参考文献】
[1]申洁丽.线性回归模型参数的Stein型根方估计[D].长沙:湖南大学,2012.
[2]王志福.岭估计中参数选择的一种新方法[J].锦州师范学院学报,2003(1):51-53.
[3]夏结来.回归系数的根方有偏估计及其应用[J].数理统计与应用概率,1988(1):21-29.
[4]Stein C.Inadmissibility of the Usual Estimator for the Mean of a Multivariate Normal Distribution[J].Proc Third Berkeley Symp.Math.Statist.Prob.,1956(1):197-206.
[5]王松桂.线性模型参数估计的新进展[J].数学进展,1985(14):193-204.