论文部分内容阅读
近年来,人工智能在许多方面取得了突破性的成就,因此越来越受到人们的关注。自动问答系统就是人工智能中的一个很重要的分支,也是自然语言处理领域中的一个值得长期研究的目标。现有的问答系统通常可以分为基于检索的问答系统和基于知识库的问答系统,这两种系统在回答问题时都需要事先储备一些相关的背景知识,只不过知识库中存储的都是结构化的易于理解的数据,而基于检索的问答系统通常包含大量的互联网文本,因此在回答问题时都会通过相关的查询产生若干的候选答案,接下来就需要计算每个候选答案与问题的相关程度,从而去除不相关的候选答案,最后得到问题的最佳答案。本文主要研究了面向历史科目的相关问答技术,包括问题分类、问题成分抽取、以及对问题候选答案的置信度排序问题。在得到一个问题之后,首先需要对问题进行分析以构造相关的查询,然后经过查询得到若干的候选段落,最后对候选段落中的句子进行置信度排序从而得到简短、准确的问题答案。本文尝试将深度学习的方法应用到问题分类、问题成分抽取和答案置信度排序中,具体研究内容如下:1.本文建立了针对历史科目的问题分类语料集和问题成分抽取语料集,将历史材料题进行分类并识别出问题中的关键要素。另外,本文建立了用于历史科目答案置信度排序的数据集。2.构建了基于深度学习的问题分类模型,并且使用了传统方法SVM与其进行对比。实验结果表明,深度学习法明显优于传统的方法,其中CNN模型取得了最佳的效果,达到了91.08%的Micro-F1值和86.80%的Macro-F1值。3.使用CRF模型和LSTM-CRF模型分别对问题进行了问题成分抽取实验。实验结果表明,传统的CRF模型在小规模语料的情况下效果是优于深度学习方法的,达到了88.51%的F1值。4.构建了基于深度学习的答案置信度排序算法,讨论了在使用CNN、LSTM在答案选择上的效果,实验表明,LSTM模型优于CNN模型,并且本文基于不同置信度计算方法以及使用不同的损失函数对答案置信度计算的影响进行了讨论,并进一步提出了调和余弦相似度和欧几里得距离的置信度计算方法,实验结果表明,使用调和后的置信度计算方法和合页损失函数取得了最佳的效果,其中MAP和MRR值分别为0.4320和0.6120。