论文部分内容阅读
数学应用题是以自然语言为基础，基于任何学科领域（数学、物理、化学、生物等）的任何数学问题。由于数学应用题类型多样、复杂程度不一，解决这些用自然语言描述的问题，需要对表达式和答案进行适当的推理。因此，自动数学应用题解算器的设计一直是将人工智能应用到教育领域的热门话题。近年来，顶级的数学应用题解算器大多都采用深度学习方法，然而，它们大都存在忽略数据预处理的重要性，缺乏对数学应用题文本数据的时序性考虑等问题。为此，本文将探究不同的改进方式，以提高当前流行的自动数学应用题解算器模型的性能表现。
设计自动数学应用题解算器的核心是将先进的自然语言处理技术以及计算机应用技术等有效地综合运用于整个解算器模型当中，其主要包含数据预处理和模型训练两个模块。首先，本文全面地分析了数学应用题数据集的特点，探索其在自动数学应用题解算器模型中的应用价值。其次，本文对基于深度学习模型的相关算法进行了全面地分析和总结，探究了不同的深度学习算法在建立自动数学应用题解算器时的性能优势。最后，本文提出一种融合Seq2seq网络模型、多头注意力机制以及时间卷积网络的自动数学应用题解算器模型TMASeq2seq，对自动数学应用题解算器的建立提出了三种改进方案。在两个常用公开数据集上进行实验，均提升了自动数学应用题解算器的答案准确率。本文的主要工作如下：
（1）TMASeq2seq模型采用了性能更加优异的分词工具（FoolNLTK）与词嵌入方法（ELMo）构成数据预处理模块，更加注重数据预处理对于数学应用题解算器性能的影响。
（2）TMASeq2seq模型中加入了多头注意力机制。在计算上下文注意力时，采用先部分分析，后整体推理的方式。将原来的上下文注意力分为多个子域计算，再进行合并推理。这种计算方式不仅能够很好的实现并行，而且可以捕获更长距离依赖关系。
（3）TMASeq2seq模型首次将传统的Seq2seq模型与时间卷积网络TCN相结合用于自动求解数学应用题，扩大了解码器的感受野，且在一定程度上增强了对时序性数据的处理能力。
（4）在大规模数据集上，TMASeq2seq模型实现了比当前最好的集成Seq2seq模型(Ensemble Model)更好的性能，准确率从68.4%提高到70.5%。在小规模数据集上，TMASeq2seq模型也实现了性能的提升，准确率达到91.3%。
设计自动数学应用题解算器的核心是将先进的自然语言处理技术以及计算机应用技术等有效地综合运用于整个解算器模型当中，其主要包含数据预处理和模型训练两个模块。首先，本文全面地分析了数学应用题数据集的特点，探索其在自动数学应用题解算器模型中的应用价值。其次，本文对基于深度学习模型的相关算法进行了全面地分析和总结，探究了不同的深度学习算法在建立自动数学应用题解算器时的性能优势。最后，本文提出一种融合Seq2seq网络模型、多头注意力机制以及时间卷积网络的自动数学应用题解算器模型TMASeq2seq，对自动数学应用题解算器的建立提出了三种改进方案。在两个常用公开数据集上进行实验，均提升了自动数学应用题解算器的答案准确率。本文的主要工作如下：
（1）TMASeq2seq模型采用了性能更加优异的分词工具（FoolNLTK）与词嵌入方法（ELMo）构成数据预处理模块，更加注重数据预处理对于数学应用题解算器性能的影响。
（2）TMASeq2seq模型中加入了多头注意力机制。在计算上下文注意力时，采用先部分分析，后整体推理的方式。将原来的上下文注意力分为多个子域计算，再进行合并推理。这种计算方式不仅能够很好的实现并行，而且可以捕获更长距离依赖关系。
（3）TMASeq2seq模型首次将传统的Seq2seq模型与时间卷积网络TCN相结合用于自动求解数学应用题，扩大了解码器的感受野，且在一定程度上增强了对时序性数据的处理能力。
（4）在大规模数据集上，TMASeq2seq模型实现了比当前最好的集成Seq2seq模型(Ensemble Model)更好的性能，准确率从68.4%提高到70.5%。在小规模数据集上，TMASeq2seq模型也实现了性能的提升，准确率达到91.3%。