学习问题是利用有限数量的观测来寻找待求依赖关系的问题.统计学习理论是由Vapnik等人提出的一种有效的样本学习下的理论.支持向量机是该理论的一种成功实现.它建立在统计学习理论的VC维理论和结构风险最小化原则的基础上，根据有限样本信息在模型的复杂性和学习能力之间寻找最佳折衷，以期获得最好的推广能力.在该方法中，核函数的选取和构造对支持向量机的构造起重要作用. 本文研究了非标准情形支持向量回归和支持向量分类的误差分析，得到了较为满意的结果. 第一部分阐述了学习问题的基本理论以及支持向量机的基础-再生核希尔伯特空间. 第二部分研究了支持向量回归的误差分析.特别的，利用采样算子理论，研究了基于多尺度标准正交脊波核支持向量机的误差分析.第三部分研究了支持向量分类的误差分析.首先研究了支持向量机q-范数分类器的错分误差，然后利用Tsybakov函数和采样算子理论研究了2-范数分类器情形时的误差分析. 最后，在第四部分，分析了前面得到的主要结果，并对未来研究工作方向进行了展望.