基于注意力机制的特征融合序列标注模型

来源 :山东科技大学学报:自然科学版 | 被引量 : 0次 | 上传用户:www6331758
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
序列标注任务是自然语言处理领域的重要问题,包括命名实体识别、词性标注、意见抽取等具有重要应用价值的子任务。目前,长短期记忆网络-条件随机场模型(LSTM-CRF)作为序列标注任务的主流框架,虽然取得了很好的性能并被广泛使用,但仍存在局部依赖性以及受限于序列化特征学习的缺点。为了同步建模句子中每个词的局部上下文语义与全局语义,并将两部分语义进行有效融合,提出基于注意力机制的特征融合序列标注模型。具体地,本模型利用多头注意力机制建模句子中任意两个词之间的语义关系,得到每个词应关注的全局语义。考虑到LSTM学习
其他文献
Rothmund-Thomson综合征(RTS)是一种少见的常染色体隐性遗传病,有早衰及骨肉瘤、皮肤癌易发倾向等特点,RECQL4基因突变是部分病因。RECQL4蛋白功能复杂多样,其与DNA复制、DNA损
东安集团组建3年多的实践表明,发展商业企业集团有利于调整产业结构,促进生产要素的合理流动,充分发挥国营大中型商业企业的主渠道作用。在较短的时间内,东安集团在开拓发展
采用烧结法制备了钠钙硅系硅灰石微晶玻璃,利用动物骨源灰分(骨灰)引入羟基磷灰石进行掺杂,研究了不同骨灰掺杂量对硅灰石微晶玻璃的烧结工艺、物相组成、微观结构和性能的影
党的十一届三中全会后,国家对成品油供应体制进行改革,形成了成品油销售市场的“双轨”制。随着改革的深入,成品油计划内油料已由原来所占的90%减至20%以下:计划外部分也随之上
桩基础具有竖向承载力高,基础沉降小,调节不均匀沉降能力强等优点,成为大型建构筑物的主要基础型式。桩基承载力与沉降分析是桩基设计中的主要内容。本研究基于桩身布设钢筋
以扑救森林火灾机动战术为主题,分析了运用机动战术指挥攻略的主要内容,系统地归纳并总结实施机动战术的指挥方法。强调在指挥方法中要灵活运用"四个为主",揭示了在机动战术
介绍了瑞星杀毒软件在实际应用中遇到问题的一些解决方法.说明了使用GHOST技术进行操作系统的备份和快速恢复的操作步骤与方法,指出运用WINDOWS维护技术可以延长操作系统的维
“井”字形与义的变迁 汉字的“井”字有数形,主要形态是井,后来中间加点呈丼,另有(?)形与(?)形,后者被识为“丹”字,据说是矿井中产丹而来的(见《说文》丹字条)。然而真正的
以逻辑工作流网作为描述过程模型的方法,提出了逻辑工作流网的有限组合,以状态转换图来描述工作流网的可达逻辑活动序列。根据死锁的充分条件,提出状态映射用以判断两个工作
华容县薄荷厂是一家仅有77名干部职工的小厂,在激烈的市场竞争中,他们注意搜索信息、立足技改、严格管理,开发新型产品,调整营销策略,取得了丰硕的经济效益。讫今为止,已发展