孪生支持向量回归机（Twin Support Vector Regression,TSVR）是一种解决回归问题的机器学习算法。由于TSVR只需求解一对规模较小的二次规划问题,其训练效率高于支持向量回归机,因此TSVR已逐渐成为机器学习领域的研究热点。但是,目前TSVR的训练算法大部分都只是离线训练算法,无法高效处理在线增量学习问题。本课题致力于提升TSVR三种变体在增量环境下的训练效率,设计其相应的增量学习算法,取得的研究成果如下:针对已有的最小二乘孪生支持向量回归机的增量学习算法存在构成的核矩阵无法很好地逼近原核矩阵的问题,提出了一种增量式约简最小二乘孪生支持向量回归机。该算法首先使用约简方法,判断核矩阵列向量之间的相关性,筛选出用于构成核矩阵列向量的样本作为支持向量以降低核矩阵中列向量的相关性,使得构成的核矩阵能够更好地逼近原核矩阵,并能够保证解的稀疏性。然后通过分块矩阵求逆引理高效增量更新逆矩阵,进一步缩短了算法的训练时间。结果表明,与现有的代表性算法相比,所提出的算法能够获得稀疏解和更接近离线算法的泛化性能。针对拉格朗日ε型孪生支持向量回归机在增量环境下无法高效更新模型的问题,提出了一种基于半光滑牛顿法的增量式拉格朗日ε型孪生支持向量回归机（Incremental Lagrangianε-Twin Support Vector Regression,ILETSVR）。ILETSVR通过矩阵求逆引理增量更新二阶梯度矩阵,降低矩阵求逆的时间复杂度,加快模型的训练速度。然而,在解决非线性回归问题时,核矩阵规模的不断增大导致ILETSVR的训练速度大幅下降。为此,提出了一种增量式约简拉格朗日ε型孪生支持向量回归机（Incremental Reduced Lagrangianε-Twin Support Vector Regression,IRLETSVR）。该算法在ILETSVR的基础上引入约简方法,以牺牲较少的预测精度为代价,限制逆矩阵的规模。结果表明,ILETSVR能够高效解决增量环境下的线性回归问题,并获得和离线算法相同的泛化性能;IRLETSVR能够极大地加快增量环境下非线性回归模型的训练速度,并获得稀疏解和接近离线算法的泛化性能。针对现有ε型孪生支持向量回归机的训练算法无法高效处理线性回归的增量学习问题,提出了一种精确增量式ε型孪生支持向量回归机（Accurate Incrementalε-Twin Support Vector Regression,AIETSVR）。首先通过计算新增样本的拉格朗日乘子以及调整边界样本的拉格朗日乘子,尽可能减少新增样本的二次损失对原有样本的影响,使得大部分原有样本依然满足Karush-Kuhn-Tucker条件,从而获得一个有效的初始状态;然后对异常拉格朗日乘子进行逐步调整;最后从理论上分析了AIETSVR的可行性和有限收敛性。结果表明,AIETSVR能够获得精确解,在缩短训练时间上优势显著。