传统机器学习中的分类算法，特别是目前应用广泛的支持向量机（SVMs）算法，大都是在批学习模式下设计的，即假设学习前拥有全部训练样本且可以通过一次学习得到最终决策模型。但实际中如果数据集过大不能一次性处理或是仅因为新数据的到达而要放弃以前的学习成果，重新对全部数据进行学习，将会耗费大量的时间和空间资源。针对上述问题，本文以分类器的逐步更新为出发点对在线学习算法及其应用进行了研究。对于支持向量机型算法，首先针对在线Lagrangian SVM所得支持向量集过大且无约束的问题，引入向量的线性独立性判别，提出在线独立Lagrangian SVM算法。相比于原算法中Karush-Kuhn-Tucker (KKT)条件的学习准则，新方法能够在有约束的支持向量数目下达到原算法的识别效果，从而节省了训练和测试时间；进一步研究了Twin SVM算法，并将其推广至在线模式下，提出基于连续过松弛（SOR）方法的在线Twin SVM算法，该算法利用上一时刻的计算结果进行矩阵更新，提升了算法的时效性。对于感知器型算法，针对其对噪声和野值点的敏感特性，设计了基于成对距离的样本权值在线计算方法，该方法不仅可以辨别野值点，而且可以增量计算，因此适合于在线学习模式；随后将其与在线passive-aggressive (PA)算法结合，提出在线加权PA（WPA）算法，在提升了算法鲁棒性的同时，仍然具有感知器型算法的时间优势。通过在机器学习标准数据集、图像数据和雷达辐射源数据上的实验验证了本文所提方法的有效性以及在工程应用中的潜在价值。