近年来,如何从理论上分析算法的泛化性能是机器学习主要研究问题。在机器学习中,泛化误差用来衡量一个学习机应用到未知数据的学习能力。我们希望找到一个泛化误差的上界,利用该上界来指导我们进行模型选择,从而得到一个具有更好泛化能力的学习机。鉴于此,本文主要对泛化误差上界进行研究讨论,且将学习场景限定在域自适应学习与在线学习中。域自适应学习可用来解决训练样本和测试样本概率分布不一致的机器学习问题。在线学习是机器学习的重要分支,是一种实时交互式动态学习的机器学习方法。首先概述了泛化误差界的基本学习理论,并对我们研究的两种学习场景:域自适应回归学习和在线学习进行了综述,分别介绍了其学习理论和当下的热门研究方法。总结了两种学习场景下对泛化误差上界有待进一步讨论的问题。通过将域自适应分类场景中的学习思路应用到回归场景中,我们对域自适应回归场景中的误差上界进行重新求解,最终利用源域的误差和源域和目标域的对比离差距离给出目标域的误差上界。针对在线学习场景,我们提出了一种新的学习算法,其可应用于回归学习。自适应控制理论为我们提供了一个新的思路,李雅普诺夫稳定性定理为我们提供了完备的理论基础。我们构建与梯度下降算法类似的目标函数,通过利用李雅普诺夫函数的稳定性定理,得到一个新的权值更新规则,且同时得到了误差损失上界和累积损失上界。最终在人工生成数据集和UCI真实数据集上的实验也证明了该算法在在线学习中的有效性。当要学习的真实模型是随时间改变的时变模型时,我们需要考虑学习算法对不断改变的模型如何保证依然具有较好的学习效果,以及如何设置学习率来提高学习效果,因此我们对迁移专家场景中的在线学习算法进行了研究。最终我们给出了迁移专家场景下的学习率的具体调整方法,且通过实验验证了该方法的有效性。最后总结全文,提出域自适应回归学习和在线学习中泛化误差上界的未来研究方向。