近些年来，支持向量机由于其坚实的理论基础，实现了结构化的风险化最优，被作为分类工具广泛应用在机器学习的许多领域。传统的支持向量机需要解决一个二次规划的问题。这个问题的解产生了一个判别平面，这个判别平面是训练数据的核函数的线性组合。在互联网时代我们要面对的问题通常都具有海量数据，而传统的支持向量机的解法由于具有较高的时间和空间复杂度限制了它的使用范围，递增的在线支持向量机的算法就显得十分迫切。本论文主要是讨论一种基于BP神经网络的递增支持向量机的训练方法。BP神经网络是一个两层的神经网络。在我们的算法中，网络的隐藏层是由支持向量机的解来决定的，即它的中间节点的个数是支持向量的个数，输入层与隐藏层之间的映射是由核函数决定的。在求解隐藏层与输出层之间的连接的权值时，我们使用的是与感知器相同的算法，即随机梯度下降的方法。相比与BP神经网络，我们提出了两点改进：使用铰链罚函数替代平方差罚函数，使用CNN算法相似的算法来从新来的训练样本中选择样本。理论与实验结果均表明，我们的算法在分类精度上与传统的支持向量机算法相似，但时间和空间复杂度上则有很大的提高。