命名实体识别是指在文本中识别出包含特定意义的命名实体。在互联网时代,以微博为代表的社交媒体中每时每刻都在产生着大量的文本数据,对这些文本进行命名实体识别可以获得相当大的应用价值。目前,针对中文微博文本的命名实体识别仍面临着一些困难:1.微博文本存在着用词不规范、口语化严重等问题,对这些不规范文本的识别准确度仍然很低。2.与英文相比,中文单词之间缺乏明显的边界信息,因此中文命名实体识别通常使用基于字符粒度的词向量嵌入,这将导致丰富的词汇信息无法被利用。3.传统的命名实体识别方法在对大规模数据进行训练时,存在着并行性差,训练速度低下的问题。本文针对以上的问题,提出了一种适合微博文本的文本规范化方法以及一种融合了词典信息的命名实体识别模型。本文的主要工作和贡献如下:1.针对微博文本不规范的问题,提出一种基于多种统计量的非规范词识别方法,并通过分布式词向量技术生成词向量,以词向量之间的余弦距离作为相似度判定标准构建出规范化词典,进行非规范词替换,从而实现文本规范化。后续实验表明,这种规范化方法可以有效的识别并替换微博中的非规范词,进而提高命名实体识别的准确度,规范后的微博文本在BiLSTM-CRF框架下识别精度提升了5.2%。2.针对传统命名实体识别方法无法利用词汇信息的问题,在固定参数的BERT预训练模型的基础上,使用Soft Lexicon词典融入方法融入了词汇信息。在对比实验中使用不同的词典融入方法进行对比实验,在Weibo数据集上的实验结果表明,这种改进的词典融入方法相比于Lattice-LSTM模型不仅在F1值上有着0.64%的提升,训练效率也提升了50%以上。3.针对传统的命名实体识别方法训练速度低下、内部结构复杂的问题,使用双向的QRNN网络代替BiLSTM网络实现特征提取的并行化。后续实验表明,对比BiLSTM-CRF网络,BiQRNN-CRF网络可以在训练时间上缩短50%以上,并拥有相同的识别精度。4.为了弥补固定BERT参数所带来的精度损失,使模型在进行序列标注时可以关注上下文语义,在神经网络层后添加自注意力机制,为对标签预测起到更重要作用的单词分配更大的权重。后续在Weibo数据集中的实验也证明,在其他模型结构完全相同的情况下,加入自注意力层后的识别效果相比不加入自注意力层有着0.62%的提升。