随着计算机能力和科学技术的快速发展,人们获得的数据所包含的信息越来越多,高维数据的统计推断问题研究已经成为十几年来炙手可热的研究热点.在一些实际问题中,除了样本信息之外,通常人们还可以获得有关回归系数的相关信息.利用这些回归系数的信息,很大程度上可以提高估计的效率,进而提高模型的效率.另外,在许多回归问题中,我们需要找出对预测响应变量起重要作用的解释因素,而这些因素通常具有组结构的特点.常见的例子包括:回归中的多水平类别型协变量需要用一组哑变量来表示;非参数回归中,将变量的光滑函数用一组基函数来表示.因此,有关组结构变量的选择方法的研究有着非常重要的理论意义和应用价值.第一章介绍了本文的研究背景和预备知识.作为一个最经典、最简单、最流行的回归分析方法,线性回归分析是研究响应变量和一组协变量之间统计关系的一种至关重要的方法.然而,在实际数据分析中,我们不可能知道真实的模型结构.如果响应变量和协变量之间真实的关系不是线性的,那么用线性模型进行推断则会造成模型设定的偏差,进而导致错误结论的出现.非参数回归模型对模型的假设相对弱很多,可以拟合数据中变量的非线性关系.这类模型的优点在于回归函数的形式相对灵活,能根据数据的特点较好的拟合出变量之间的关系.但当协变量的维数较大时,此类模型会产生维数祸根的问题.半参数回归模型即含有参数部分又含有非参数部分,在保留参数回归模型简单性的同时又具有非参数回归模型灵活性的特点.因此半参数回归模型在实际中具有非常广泛的应用.在部分线性回归模型的框架下,第二章研究了参数部分的维数发散时参数部分回归系数满足某些线性约束条件下的统计推断.对非参数部分的估计我们使用B样条基函数的方法.本文考虑用B样条基函数的方法来估计未知函数,因为此方法在计算上效率是非常高的,估计的精度也比较高.而且B样条基函数方法是一种全局光滑法.因此,系数的估计可以一步实现,而核方法在计算上非常耗时,因为它需要对每个数据点或多个数据点进行重复.理论上,在某些常规条件下给出了约束轮廓最小二乘估计的相合性和渐近正态性.并通过数值模拟来验证估计的有限样本表现.模拟结果说明如果回归参数向量满足某些先验信息,利用这些先验信息得到的约束估计比无约束估计更有效.第三章将第二章的部分线性回归模型推广到部分线性可加回归模型,由于含有多个非参数函数,部分线性可加回归模型具有更广泛的应用.本章考虑了线性部分的参数个数发散且满足某些线性约束条件时的相关统计推断问题.首先,对非参数部分的函数利用B样条基函数进行估计后,给出参数部分的约束轮廓最小二乘估计.在常规条件下建立了约束轮廓最小二乘估计的相合性和渐近正态性.其次,为了检验参数部分的线性约束条件是否成立,我们给出了轮廓似然比检验统计量,并证明了在原假设和备择假设分别成立的条件下轮廓似然比检验统计量的极限分布为卡方分布.最后,利用数值模拟和实例分析验证轮廓最小二乘估计和轮廓似然比检验统计量的样本表现.数值结果说明在各种情况下约束估计的表现比无约束估计的表现好很多,轮廓似然比统计量对备择假设是很敏感的.第四章考虑了参数部分的协变量具有组结构情况的高维部分线性回归模型.我们提出了自适应group bridge方法来实现参数部分的组变量选择问题,同时我们考虑了自适应group bridge方法中参数γ的选择.利用leave-one-observation-out交叉验证方法选择调整参数λ和bridge中的参数γ.通过推导,该方法与标准的交叉验证方法相比可以大大的降低计算量.理论上,我们给出了目标函数的全局最小值点,同时证明了该最小值点的相合性、收敛速度以及渐近正态分布.数值模拟结果说明自适应group bridge方法表现良好,同时通过对工人工资数据的实例分析说明该方法给出的预测误差相比group Lasso和group bridge来说要小.因此,自适应group bridge在组变量选择的问题中是一中非常好的方法.局部线性逼近算法是一个非常有效的算法,用来求解非凹惩罚问题的全局最优解.然而该方法的有效性高度依赖于一个相当好的初始估计.当变量间存在多重共线性问题时,局部线性逼近算法就失效了.本文第五章提出了一个新的局部线性逼近岭算法来解决变量的多重共线性.取岭回归估计作为初始估计,局部线性逼近岭算法在求解估计时稳定并且有效.并且从理论上证明了算法的收敛性以及参数估计的Oracle性质.数值模拟通过多个例子验证局部线性逼近岭算法的有效性.由模拟结果可知,在多重共线性存在的情况下,我们提出的算法表现要远远好于局部线性逼近算法.第六章对全文工作进行了总结,同时给出了下一步将要开展的研究内容.