人工神经网络已经被证实在自然语言处理,语音信号处理,图像处理等领域都有着良好的表现,循环神经网络作为人工神经网络模型的一种,常被用于处理各类时序任务,这主要得益于它对时序信息的记忆能力。记忆作为循环神经网络中最重要的机制之一,在提升网络学习能力方面起着重要作用。一个好的记忆机制可以让网络把输入信号与长期记忆信号相结合,共同参与到输出信号的决策当中,从而提升网络的学习能力。然而,传统的循环神经网络模型并不能进行长期有效的记忆,一方面是由于学习矛盾问题(即:输入矛盾问题,输出矛盾问题,记忆矛盾问题)的影响,使网络很难学习到有用的记忆信号,另一方面是由于网络受到了梯度消失问题和记忆容量问题的影响使其无法进行长期有效的记忆。针对上述问题,本文创新性的提出了两种新型循环神经网络模型,分别是:带有内部记忆单元和外部记忆矩阵的循环神经网络模型(RNN-IEM),和带有门控记忆单元和外部记忆矩阵的循环神经网络模型(RNN-GEM)。总的来说,本文的创新点如下:1.针对传统循环神经网络所面临的记忆矛盾问题,梯度消失问题和记忆容量问题,本文提出了一种带有内部记忆单元和外部记忆矩阵的循环神经网络模型(RNN-IEM)。内部记忆单元由一个线性记忆单元组成,它可以用来单独储存记忆信号,解决记忆矛盾问题的影响。此外,记忆单元的线性设计允许网络的误差信号可以恒定的向之前时刻传播,使网络有能力解决梯度消失问题。外部记忆矩阵用来对模型的记忆信息进行结构化存储,这有效消除了记忆容量问题的影响,增强了网络的记忆能力。此外,本文还结合误差截断技术为提出的模型设计了高效的学习算法,使模型能够在解决上述问题的同时还能够进行高效训练。2.针对传统循环所面临的输入和输出矛盾问题,本文基于提出的RNN-IEM模型,设计了一种具有门控记忆单元和外部记忆矩阵的循环神经网络模型(RNN-GEM),该模型与RNN-IEM模型有着相似的结构,不同之处在于隐含层的结构不同,RNN-GEM模型的隐含层不再由带有内部记忆单元的神经元构成,而是由门控记忆单元构成,门控记忆单元的引入使得模型对输入信息和输出信息的决策不再单一的由权重信号来决定,也把门控单元的影响加入到了其中,这有效解决了输入和输出矛盾问题。此外,为了使提出的RNN-GEM模型能够完成高效的训练,本文为该模型也提出了高效的学习算法,进一步增强了网络的学习能力。最后,本文在Embedded Reber Grammar(ERG)序列生成任务,Synthetic World Model(SWM)问答任务,Language Understanding(LU)实体识别任务三种不同的任务上对提出的模型进行了实验,实验结果证实了本文提出的模型结合设计的算法,能够在解决上述问题的同时还拥有突出的表现。