论文部分内容阅读
在许多现实的机器学习任务中往往存在着大量的领域知识,且这些知识可以通过一阶逻辑语言表达。本文分别研究了如何使用此类领域知识辅助机器学习,如何利用机器学习进行领域知识精化,以及如何将领域知识与机器学习进行互促结合。针这三个问题,本文提出了四种机器学习方法与框架。具体来说,本文的主要工作如下:1.提出一种领域知识增广样本的机器学习方法。常规的机器学习方法难以对领域中对象间的关系信息进行利用,一阶逻辑语言可以方便地将这种信息表达为领域知识。本文提出的SUL学习方法能够将此类领域知识转化为训练样本来提升机器学习性能。简单来说,它能够将领域知识增广为机器学习可直接利用的样本特征。实验表明,相对于未引入领域知识的方法,SUL学习能够提升机器学习性能。2.提出一种领域知识辅助约束的机器学习方法。由于一阶逻辑表达的领域知识较为复杂,常规的机器学习方法难以使用它们来对机器学习的优化过程进行约束。本文提出的LASIN方法可以将领域知识转化为机器学习中关于假设模型搜索空间的约束条件,以要求从数据中学得的模型与领域知识保持一致。实验表明,与未引入领域知识的机器学习方法相比,LASIN方法学得的模型拥有更好的泛化性能。3.提出一种机器学习驱动的领域知识精化方法。知识精化的目标是从数据中学习具有良好可理解性的一阶逻辑规则,以往的知识精化方法难以从不含逻辑符号的数据中进行学习。本文提出的KRL方法将知识精化问题转化为机器学习任务,它首先使用机器学习模型将样本转化为逻辑符号,并使用这些逻辑符号增广领域知识,最终对增广后的领域知识进行精化。在计算机视觉任务中的实验结果表明,KRL能够学习出目标概念的形式化定义。4.提出一种领域知识与机器学习互促结合框架。将数据驱动的机器学习与知识驱动的逻辑推理相结合一直是人工智能中的核心挑战。本文提出的反绎学习是一种将此二者进行互促结合的框架,它既能将领域知识转化为训练机器学习模型所需的样本标记,又能利用机器学习将数据转化为增广和精化领域知识所需的逻辑符号。基于该框架,本文提出一种结合知识精化与深度学习的算法NLM,并在一类复杂学习任务中验证了它的有效性。