论文部分内容阅读
循环神经网络相比于其他深度学习网络，优势在于可以学习到长时依赖知识，但学习过程中的梯度消失和爆炸问题严重阻碍了知识的按序传播，导致长时依赖知识的学习结果出现偏差。为此，已有研究主要对经典循环神经网络的结构进行改进以解决此类问题。本文分析2种类型的激活函数对传统RNN和包含门机制RNN的影响，在传统RNN结构的基础上提出改进后的模型，同时对LSTM和GRU模型的门机制进行改进。以PTB经典文本数据集和LMRD情感分类数据集进行实验，结果表明改进后的模型优于传统模型，能够有效提升模型的学习能力。