论文部分内容阅读
如何在线找到正确的子目标是基于option的分层强化学习的关键问题．通过分析学习主体在子目标处的动作，发现了子目标的有效动作受限的特性，进而将寻找子目标的问题转化为寻找路径中最匹配的动作受限状态．针对网格学习环境，提出了单向值方法表示子目标的有效动作受限特性和基于此方法的option自动发现算法．实验表明，基于单向值方法产生的option能够显著加快Q学习算法，也进一步分析了option产生的时机和大小对Q学习算法性能的影响．