论文部分内容阅读
词向量是支撑自然语言处理的重要基础,为了解决目前的RECWE(Radical Enhanced Chinese Word Embedding)模型没有合理利用上下文词语贡献度不同、各词语中汉字及其偏旁部首和组件的贡献度不同的问题,提出了结合注意机制改进的RECWE模型,将模型的两个预测模型引入不同类型的注意力机制。实验结果表明,改进的RECWE模型与原模型相比,在相似度任务上,两份评测文件的成绩分别提高2.89%和1.04%;在类比任务上,三个主题的平均成绩提高2.07%,有效提高词向量的质量。