支持向量机是一种新的机器学习方法，近年来取得了长足的发展，并已广泛应用于手写数字识别、人脸识别、文本分类、回归预测、时间序列分析等领域。设计实现该学习方法的有效优化算法是该领域学者研究的重点。本文首先分别对支持向量分类机和支持向量回归机的模型参数选择进行了研究，分析了高斯核函数和相关参数对支持向量机分类和回归效果以及推广能力的影响，引入了利用网格搜索法配合k-折交叉验证的模型参数选择搜索算法，在理论分析的基础上进行了数值实验，取得了较好的效果。增量学习一直是近年来研究的热点之一，它的优点在于，学习过程中能自动舍弃无用的样本，减小训练集，节约存储成本。经典或标准的SVM算法并直接不具有增量学习的能力，但其理论体系中的支持向量概念对于增量学习算法的构建具有十分重要的意义。基于改进的SOR-SVM算法求解SVM分类问题的快速有效性，本文提出了适合改进的SOR-SVM的在线增量学习算法和成批增量学习算法，通过对KKT条件的分析和利用改进的SOR-SVM算法结构的特殊性，在算法的执行过程中新增样本后的求解过程利用了增量前原数据集已求得的结果进行更新，降低了计算量，提高了运行效率。数值实验表明新的增量学习算法是有效的。与分类问题类似，本文将改进的SOR-SVR算法推广到了增量学习上，提出了基于改进的SOR-SVR的在线增量算法和成批增量算法，通过对KKT条件的分析和利用改进的SOR-SVR算法结构的特殊性，在算法的执行过程中新增样本后的求解过程利用了增量前原数据集已求得的结果进行更新，降低了计算量，提高了运行效率。数值实验表明新的增量学习算法是有效的。遗传算法是一种借鉴自然界生物自然选择和自然遗传机制的高度并行、随机及自适应的优化搜索算法，该算法有良好的鲁棒性。本文提出了一种新的支持向量回归机算法，即基于遗传算法的支持向量回归机算法(GA-SVR)，该算法不同于传统的二次规划方法。数值实验表明基于GA的回归算法是有效的。