在线学习是近年来机器学习领域的热点研究方向之一,因其与现实世界中各种问题的高度吻合而得到日益广泛的关注。对于解决当今社会生活中不断爆炸式增长的新信息以及不断堆积以至于冗余的旧信息的处理有天然的优势。当目前对在线学习课题的研究主要仍停留在理论层面,主要关注的是如何从在线凸优化的角度求解及算法的理论误差界。本文选取了在线学习中具有高度应用价值的几个问题,包括：1)在线算法的核方法及如何避免不断增长的核矩阵；2)在线回归算法,特别是在线Boosting回归技术的性能,优势,及其在列车精确停车问题中的应用；3)如何利用在线算法设计在线投资组合策略,如何利用市场本身的波动特性提高在线投资组合策略的性能。我们提出了以下改进的算法并评估了它们的性能：(?)考察了几种基于核的Perceptron类算法,并利用支持向量机中soft margin的方法改进了其中性能较好的Projectron算法,改进后的SMProj算法在提高性能的同时,也减小了支持向量集的规模。对于现实生活中的分类问题有很好的指导意义。(?)针对简化的列车停车模型,考察了几种回归算法在该模型上的性能,并对其中的GP Boosting算法提出了在线化的方法。通过试验证实了在线Boosting回归算法在列车停车问题上的可行性及优势。(?)在Anticor算法的启发下,深入研究并证明了该算法在投资组合问题上的机理,同时针对算法的疑点,提出了改进后的CorrReg算法。不仅通过市场的波动和资产的相互关系预测资金的流动方向,而且利用了在线算法中的internal regret量化了资金的流动数量。使得算法更富有可解释性。