传统的机器学习算法大多采用批量学习模型,需要预先收集大量训练数据。但在数据量、数据维度快速增长的今天,接收到新数据到之后,批量学习模式需要重新对样本进行训练,会消耗大量的时间和计算成本。特别是在物联网、新兴社交网络和金融等领域,数据维度有近十万甚至更高。通过剔除相关性不大或冗余重叠的特征,能够降低计算成本,提升模型泛化能力。因此,本文针对在线学习中的特征选择算法进行研究。对于单任务在线学习特征选择算法,本文将Passive-Aggressive(PA)算法引入在线特征选择算法框架中,提出了一种新颖的基于特征选择的在线学习算法(Passive Aggressive Backward Splitting,PABS)。PABS算法能达到原来PA算法相同甚至更高的分类精度,同时依旧具有在线特征选择算法筛选冗余特征值,降低运算复杂度的特性,使系统以较少的运算资源保持对分类具有重要意义的核心特征,降低模型学习负担。当单任务训练数据不充分时,利用相互关联的多个任务进行学习,能够明显提高算法的泛化能力。对于多任务在线学习中的特征选择问题,本文提出协同多任务在线特征选择算法(Collaborative Multitask Online Feature Selection,CMOFS)。该算法利用多个任务之间的相关性,一方面根据全部样本信息建立全局模型,另一方面为每个任务单独训练模型,根据全局模型和单独模型的预测效果,动态调节权重,增强算法的泛化性能,最终提高全部任务的学习效果。针对上述算法,均采用机器学习领域公开发表的数据集进行实验,实验结果表明,本文提出算法可以得到更好的学习效果。