论文部分内容阅读
强化学习是与传统的监督学习完全不同的学习框架。在强化学习中，agent感知环境的状态并采取相应的动作，同时得到环境的奖赏反馈。agent无需假设任何有关环境的先验知识，而是通过与环境的交互来得到环境的信息，同时以最大化长期的回报为目标。关系强化学习在强化学习的基础之上，引入了一阶逻辑的表示形式，并利用它的抽象特性，来期望获得比传统强化学习更好的泛化性能。
基于前人关于关系强化学习的工作，本文通过对关系强化学习两个子方向的研究，取得了如下的成果：
1.本文提出了使用马尔科夫逻辑网(MLN)的强化学习-RLMLN的算法框架。马尔科夫逻辑网结合了归纳逻辑规划(ILP)和统计学习的优点，给出了由基本原子来构造和学习概率依赖模型的方法，为我们在强化学习中引入先验知识提供方便。我们利用了MLN这方面的能力，把它和一种传统的强化学习方法-时间-差分(TD)方法结合起来，形成了新的关系强化学习的框架。实验结果表明，RLMLN方法能够有效的加快学习速率以及提高传统强化学习的稳定性。
2.本文提出了对使用一阶逻辑回归树的增量式的TG算法的一种改进-SBIFDT算法。我们在考察TG算法的时候发现，TG算法为了减小内存消耗以及算法的计算量，会抛弃已经处理过的示例。但同时这种做法会导致算法在学习初期容易被噪音所干扰，从而使算法收敛缓慢，并具有不稳定性。我们通过在回归树中保留节点对应的示例的做法，使得叶子节点不再仅仅依靠统计量作为分割的判据，而是以相应的整个示例集合做为标准，从而可以更为准确的进行节点的分裂。实验结果表明，SBIFDT算法可以比标准的TG收敛更快，同时具有更好的稳定性。