概率密度估计不仅是传统统计学研究的核心问题,也是统计学习理论中的一个重要研究内容。本文系统回顾了机器学习、统计学习理论及支持向量机的有关知识,其次研究了在极大似然法下与支持向量回归机对应的密度函数,求出了新的密度函数中参数的极大似然估计,并讨论了其次序统计量的一些性质,使得拉普拉斯分布得到了更广泛的应用。本文的内容分为四章,第一章：系统阐述了统计学习理论和支持向量机的研究背景,特别指出了机器学习是当今海量信息提取问题的一个富有挑战性的课题,建立在统计学习理论基础之上的支持向量机是一种全新的机器学习方法。第二章涉及了机器学习和统计学习理论的相关知识,主要包括统计学习理论的基本问题和核心问题。在统计学习理论的基本问题中,主要介绍了机器学习问题和经验风险最小化原则,其中机器学习问题的描述包括了三个基本的统计问题,即模式识别问题、回归函数估计问题、概率密度估计问题。在统计学习理论的核心问题中,主要讨论了学习过程的一致性、VC维、推广性的界和结构风险最小化原则。第三章研究了支持向量机（SVM）,重点探讨了支持向量机、核函数与支持向量回归机,分析了支持向量机的特点,其中涉及线性可分问题、近似线性可分问题和非线性可分问题,阐述和分析了Mercer条件、回归问题、线性ε-支持向量回归机以及ε-支持向量回归机。特别地,指出了支持向量机的5个特点及支持向量机存在的若干缺陷。第四章研究了基于支持向量机的拉普拉斯分布的推广。本章在极大似然法的基础上,对推广后的新的密度函数中未知参数进行估计,并研究了相应次序统计量的密度函数和一些数字特征。