短文本相似度研究是文本分类下的一个分支,它在智能问答、信息检索等任务中起着基础性作用,具有一定的研究价值。传统的文本相似度计算方法存在维度爆炸、语义不详等问题,无法满足目前的需求。本文基于深度学习技术研究短文本相似度,文中选取Bi-LSTM模型和BERT模型进行短文本相似度研究,并根据其存在的不足作相关改进。本文的主要工作如下:(1)在建立基于词向量的Bi-LSTM模型时,发现其在短文本相似度计算上存在三个不足点:第一、词向量受分词歧义和未登录词影响,容易给模型带来语义误差,为此本文提出用字词结合来改进词向量的方法,增强了模型语义;第二、LSTM的门机制结构无法突出句子的重点信息,模型的特征提取能力有待提高,针对这个不足,本文引入自注意力机制来改进特征学习能力;第三、损失函数容易导致模型对预测结果过于自信,模型的泛化能力有待提高,为此本文引入标签平滑正则化方法来改进损失函数。(2)在建立基于字向量的BERT模型时,发现该模型在短文本相似度计算上存在两个不足点:第一、字向量的语义表达不足,模型容易出现语义缺失的情况,为此本文提出用中英文联合输入来改进字向量,并同时引入多头注意力机制来学习双语特征;第二、损失函数在衡量预测效果上不佳,模型不易调整,针对这个不足,本文引入标签平滑正则化方法来改进损失函数。实验结果表明,改进的Bi-LSTM模型其Macro-F1比原模型提高了2.63%;改进的BERT模型其Macro-F1比原模型提高了3.20%,模型改进有效。由本文实验可知,BERT模型比Bi-LSTM模型预测效果更好,其Macro-F1比Bi-LSTM模型高了7.71%。