随着现代信息技术的快速发展，各种数据库大量出现，如何从数据库中准确的抽取有用信息成了一个迫切需要解决的问题，数据挖掘技术应运而生。支持向量机作为数据挖掘中的新方法，在许多领域显示了巨大的魅力。支持向量机是九十年代中期在统计学习理论基础上发展起来的一种机器学习方法，它集成了最大间隔超平面、Mercer核、多项式核、凸二次规划、稀疏解和松弛变量等多项技术。在许多应用中，获得了目前的最好的性能。由于支持向量机出现不久，因此存在许多尚未解决的问题。如针对支持向量机训练速度慢及时间空间复杂度大的问题，人们做了大量的工作。本文在广义支持向量机的框架下，提出了一个快速算法。将带二维损失函数的支持向量机模型化为无约束凸问题，利用变尺度方法进行优化，并比较了不同线搜索规则下的优化性能。随后给出了数值实验结果，并与其他算法进行比较。实验表明本文给出的算法快速有效。标准支持向量机的非光滑算法研究比较少。然而随着模式识别技术的发展，组合分类器的出现，非光滑技术具有越来越重要的实际意义。本文第四章利用次梯度方法优化支持向量机的一种无约束模型。由于该算法在参数和步长选取方面只有启发式的规则，本文通过数值实验构造了步长规则和终止准则。数值结果表明该算法非常有效。