语言模型是自然语言处理领域中的基础任务之一,同时也被应用在语音识别、对话系统、机器翻译、句法分析等多个文本处理任务上。随着神经网络的发展,语言模型逐渐从传统的N-gram语言模型,发展到现在主流的基于循环神经网络的语言模型。在循环神经网络(Recurrent Neural Network,RNN)语言模型中,通过共用循环结构体,序列中的历史信息得以被记录在网络中,但也因此出现远距离依赖问题,即远距离的语义信息在网络中被更新和覆盖,导致网络逐渐忘记了重要的远距离语义信息。语言是由语法与语义共同组成的,目前的RNN语言模型基本可以实现局部语法通顺,但很难保证语义丰富且明确。本文主要针对RNN语言模型语义表达较弱的问题,从主题特征与词特征两个角度进行语义强化,主要工作包括以下几个方面:(1)提出基于主题表征向量的语义强化方法TE-RNN。利用LDA主题模型与预训练的词向量,结合词的位置信息,优化主题表征向量的计算方式,为输入序列中的每个词提供准确的主题语义表示;(2)提出基于主题注意力分配的语义强化方法TA-RNN。不同于TE-RNN直接把主题表征向量拼接到网络输入中,TA-RNN通过构建语句级与段落级的主题注意力,将句子内部局部主题与段落中的全局主题动态分配给序列中的每个单词,为输入序列中的每个词提供准确的主题语义分配;(3)提出基于词权重特征的语义强化方法WD-RNN。由于在实际语料中停用词占比较高(70%左右),网络中充斥着“贫语义”的词信息。WD-RNN利用词的权重特征,构建weighted dropout层,在网络输入阶段抑制权重较低词的信息输入,在输出阶段增强权重较高词的神经元活力,强化了“富语义”词的信息在网络中记忆与传递。