论文部分内容阅读
随着计算机和互联网的飞速发展,互联网的信息量呈现爆炸式增长。信息量的增加既为人们的生活带来了便捷,也给人们提出了巨大的挑战。在海量的信息面前如何高效的获取信息以及如何去除冗余信息成了很多人需要面对的问题。文本匹配作为信息检索和冗余文本消除的基础技术手段,一直受到学术界和工业界的高度重视。同时许多自然语言处理中的任务例如信息获取,问答系统,机器翻译,对话系统等等,都可以被视为文本匹配问题。 传统的文本匹配算法往往基于人工抽取的规则进行模式匹配,这导致规则复杂而且难以管理;因此目前对文本匹配的研究大都试图通过深度神经网络理解文本语义进行语义匹配。 近年来,深度学习的进展大大增强了强化学习的表达能力。强化学习已经在围棋,游戏等方面达到甚至超越人类的水准。这给基于文本语义匹配带来了新的可能性。利用强化学习强大的表达能力,我们可以较少的计算量下得到更好的效果。 本文针对文本匹配的特定场景,设计了面向马尔科夫决策过程的文本匹配算法。传统的强化学习算法往往基于贪心的思想进行预测,很容易陷入局部最优。为了避免这种情况,本文引入了蒙特卡罗树搜索对马尔科夫决策过程进行训练和预测。由于强化学习算法的运行速度通常较慢,因此针对本文提出的算法进行了并行实现以提高算法的运行速度。 本文进行的研究工作如下: (1)利用马尔科夫决策过程设计了文本匹配的强化学习 一个强化学习过程包括状态、动作、转移概率、奖励和策略。强化学习过程的设计会直接影响算法的效率和最终结果。针对于文本匹配场景,本文设计了强化学习中的状态、动作以及奖励函数,并基于值迭代和策略梯度进行实现求解。通过这一方法,建模了文本匹配中的交互规则。本文设计的强化学习过程在大数据集场景下的准确率和auc均优于其他经典文本匹配算法的效果。 (2)引入蒙特卡罗树搜索增强模型的泛化能力 基于值迭代的文本匹配模型虽然可以建模文本匹配中的交互规则,但是基于贪心的方法对于语言的组合结构问题有着天生的缺陷,同时在小数据集上需要精细的调参已达到最优效果。蒙特卡罗树搜索算法向前看k步的设计降低了局部最优解出现的可能性,因此本文基于蒙特卡罗树搜索算法设计了文本匹配模型,并与其他经典算法进行了对比。实现结果表明,基于蒙特卡罗树搜索的文本匹配模型具有一定的优势。 (3)对本文提出的算法进行并行化实现 强化学习虽然拥有强大的建模能力,但是其算法本身的特点导致了它难以加速,且极难利用GPU进行并行计算。而蒙特卡罗树搜索本身的特点则进一步增长了算法的运行时间。因此对强化学习算法进行加速以加快训练速度,降低推导延迟是必不可少的。本文结合蒙特卡罗树搜索以及文本匹配的特点设计了文本匹配算法,在多线程环境下取得了较好的效果。