论文部分内容阅读
陆空通话是飞行中关键的信息交流途径,错误的陆空通话可能引起非常严重的飞行事故。为了将陆空通话发生错误的概率降到最低,有必要在飞行员复诵指令之后进行语义的校验。近年来深度学习在自然语言处理领域有了深厚的积累,双向长短时记忆网络、Text-CNN和Transformer等模型都有着很好的应用。预训练语言模型的出现更是使得自然语言处理领域有了突破性进展,预训练语言模型在各种自然语言处理任务中都有着优秀的效果。对于文本在计算机中的向量表示形式,BERT预训练语言模型采用句子对分类的方式进行语义校验。