加入自注意力机制的BERT命名实体识别模型

来源 :智能系统学报 | 被引量 : 0次 | 上传用户:weihuifrist
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
命名实体识别属于自然语言处理领域词法分析中的一部分,是计算机正确理解自然语言的基础。为了加强模型对命名实体的识别效果,本文使用预训练模型BERT(bidirectional encoder representation from transformers)作为模型的嵌入层,并针对BERT微调训练对计算机性能要求较高的问题,采用了固定参数嵌入的方式对BERT进行应用,搭建了BERT-BiLSTM-CRF模型。并在该模型的基础上进行了两种改进实验。方法一,继续增加自注意力(self-attention)层,实
其他文献
我国造纸工业废水具有水量大,色度高,有机物浓度高等特点,其中造纸废水中造纸木素的降解是造纸废水的处理难点。随着经济的发展,造纸工序越来越复杂,而排放标准越来越严格,对
目的比较隐球菌性脑膜炎(CM)不同检测方法的诊断价值。方法选取2012年1月—2018年11月西京医院神经内科脑脊液细胞学检查室CM患者42例的脑脊液样本47份作为病例组,非CM脑脊液
在建立境外经贸合作区模式下,中国企业跨国投资通过"抱团"方式改变传统的单打独斗,以融入式发展取代传统的资源占有,实现了企业产业链的国际延伸和集群发展。本文主要探讨在"
目的探讨肺癌患者放疗期间营养状况与放疗不良反应的相关性。方法调查174例肺癌患者放疗前的营养状况,并在放疗前和放疗2周末、4周末、放疗结束时评价放疗不良反应。采用广义
高温是植物遇到的重要非生物逆境之一。近来,随着全球气候变暖加剧,极端高温天气对农作物产量的影响越来越严重。当受到热胁迫时,植物体内的热激转录因子HSFs会被激活,从而调
大连寺儿沟污水处理厂工程是2013年大连市政府的重点工程之一,为了实现工程的预定目标,并能使污水处理厂的自动化水平达到国内甚或国际的领先水平,我们根据大连寺儿沟污水处
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
期刊
统计损伤力学是依据岩石试验全应力-应变曲线的几何特征,反推出岩石本构关系数学表达式的有效手段。能量是物质物理过程的本质属性,岩石破坏是能量驱动下的一种状态失稳现象
期刊