论文部分内容阅读
随着计算机技术尤其是人工智能技术的快速发展,聊天机器人这一新形态的智能对话系统出现并普及,基于此,本文提出“用户出行消费意图识别”任务。所谓出行消费意图,是指在聊天机器人中,用户为了满足出行的需要,通过文本表达出对出行类产品或者服务的购买意愿。识别出用户的出行消费意图,不仅能丰富聊天机器人的对话策略,还能辅助之后的产品推荐工作,具有重要意义。本文将出行消费意图识别任务看成一个分类问题,首先使用基于特征工程的机器学习方法进行出行意图识别。经过分析,用户的聊天文本一般较短且口语性较强,识别起来十分困难。因而本文尝试使用共现关系挖掘Apriori算法以及主题挖掘LDA算法,对用户的聊天文本进行内容和语义话题两方面的扩充,丰富用户的表达并完善聊天信息,使模型更易于识别出用户的出行意图。实验结果表明,基于内容与主题扩充的识别策略对最终结果有一定提升。由于基于特征工程的机器学习方法十分耗费人力并且有较强的局限性,即便对聊天内容进行扩展,在刻画文本的深层语义信息上依然比较困难。进而本文尝试使用端到端的深度学习模型进行特征抽取与出行意图识别工作。具体而言,本文构建了基于卷积的长短期记忆神经网络(Convolutional-LSTM)模型进行出行消费意图特征挖掘与识别,首先通过卷积神经网络(CNN)对用户的聊天文本进行特征抽取,随后进行特征组合后送入长短记忆神经网络(LSTM)进行特征表示学习,最后输出识别结果。实验结果表明,在出行消费意图识别任务上,基于Convolutional-LSTM的模型相对传统特征工程方法有较大提升,并相比CNN与LSTM模型表现也有优势,在出行消费意图识别任务上是行之有效的。出行意图包含多个领域,在实际的意图识别过程中,某些意图领域的语料十分稀少,而且获取比较困难,这就给意图识别的领域扩展带来了诸多不便。本文尝试使用底层参数共享与多任务学习两种不同的迁移学习方法,在新的意图领域利用小规模的标注数据进行迁移学习工作,并取得了较为理想的结果。最终,本文将论文所研究的内容应用在聊天机器人“笨笨”上,通过对用户聊天文本的识别以及与用户的交互,最终确定用户出行意图。经线上测试,出行消费意图模块在聊天机器人中表现良好,能够满足实际需要。