本文中,我们通过引入高阶Parzen windows的方法研究学习理论问题中的一些算法,并应用到多变量的随机采样问题中。最初的想法主要来源于Parzenwindows估计密度函数和采样理论。首先,我们定义出基窗口函数,由基窗口函数构造出高阶Parzen windows函数。当边缘分布函数在采样的定义域附近满足一定的衰减性条件,我们给出了最小平方形式下的回归函数和密度估计函数的学习率。并且当边缘分布函数衰减很快,以及高阶Parzen windows的阶足够大的情况下,我们给出的学习率能达到理论最优。与标准的Parzen windows不一样的是,当高阶Parzenwindows的阶J大于2时,高阶Parzen windows函数本身不再是密度函数。对于平移不变空间的随机采样问题,我们给出了在全空间Rn中的逼近阶。当样本点不是独立同分布,而是受规则网格hZn上的噪音干扰（这里h＞0是一个常量）。同时,我们还假设噪音的密度函数,以及要逼近的目标函数满足一定的衰减和规则性条件。选择合适的窗口宽度,得到的逼近阶仅与逼近函数本身的性质,噪音的密度函数以及Parzen windows的阶有关。接下来,我们继续讨论高阶Parzen windows方法在多元逼近论问题中的应用。不同的是这里的函数空间是Sobolev空间,并且样本点不再是一致采样,而是受到均匀网格附近有微小平移的噪音函数影响。采样点对应的函数值的期望值等于要逼近的目标函数的值。我们给出了在Sobolev空间逼近目标函数的误差界。最后,我们应用高阶Parzen windows解决一个实际应用问题。考虑的算法的效率以及实际问题的需求,我们仅采用一个二阶Parzen windows函数估计密度函数。无论是对实验数据还是真实数据,算法都非常有效。