【摘 要】
：
在自然语言处理领域,全局注意力机制通过考虑编码器的所有隐藏状态来捕获信息,从而帮助预测结果。然而在理解汉语成语这种复杂的语言现象时,模型往往会因特定语境的干扰而产生错误的决定和认知。因此,为了使模型更好地感知成语在不同语境下的语法功能,该文提出了一种增强型的全局注意力机制,通过对每个位置空间产生额外的注意因子来调整原始的全局注意力,最终提高了模型对特定语义的学习能力。该文将增强型全局注意力机制与BERT语言模型相结合,设计了一个用于完形填空任务的模型,并在最近发布的中文成语完形填空数据集ChID上进行了实
【机 构】
：
北京邮电大学人工智能学院,北京邮电大学模式识别与智能系统实验室
论文部分内容阅读
在自然语言处理领域,全局注意力机制通过考虑编码器的所有隐藏状态来捕获信息,从而帮助预测结果。然而在理解汉语成语这种复杂的语言现象时,模型往往会因特定语境的干扰而产生错误的决定和认知。因此,为了使模型更好地感知成语在不同语境下的语法功能,该文提出了一种增强型的全局注意力机制,通过对每个位置空间产生额外的注意因子来调整原始的全局注意力,最终提高了模型对特定语义的学习能力。该文将增强型全局注意力机制与BERT语言模型相结合,设计了一个用于完形填空任务的模型,并在最近发布的中文成语完形填空数据集ChID上进行了实
其他文献
将知识引入到依靠数据驱动的人工智能模型中是实现人机混合智能的一种重要途径。当前以BERT为代表的预训练模型在自然语言处理领域取得了显著的成功,但是由于预训练模型大多是在大规模非结构化的语料数据上训练出来的,因此可以通过引入外部知识在一定程度上弥补其在确定性和可解释性上的缺陷。该文针对预训练词嵌入和预训练上下文编码器两个预训练模型的发展阶段,分析了它们的特点和缺陷,阐述了知识增强的相关概念,提出了预训练词嵌入知识增强的分类方法,将其分为四类:词嵌入改造、层次化编解码过程、优化注意力和引入知识记忆。将预训练上
边远偏僻、高寒缺氧、荒芜寂寞,但却拥有着独特的地理环境和丰富的自然资源,被IUCN(世界自然与自然资源保护联盟)与WWF(世界野生生物基金会)称为是“世界上少有的生物地理省
With the fast development of the Internet of Things(IoT), increasing numbers of devices are connect-ed to the Io T network and generate massiveamounts of data. The traditional centralized cloudcomputi
在经济的不断发展下,人们的生活水平不断提升,对于医院的医疗服务水平也更为重视.在选择医院时,人们对于医院的品牌形象更为关注,对于医院的发展而言,提升医院的品牌形象也是
工会是面向广大职工的群众组织,其直面职工的特性,使其成为强化职工思想政治引领,联系党与职工群众的桥梁和纽带.随着时代的发展,如何以工会工作为推动力,强化思想政治工作,
因為工作就在川西，有心记录下这一方水土人的日常生活种种。这片土地，是我心里的大家乡，以这份天然的亲切，行行重行行，拍摄不停。日光下的这些片段一再上演，似乎存在很久了，又似乎在这个时代即将消失。带着这样一份预感，开始有意识地记录下这些生活中再平凡不过的光景。 很可能，我们在二三十年之后，忽然回看，才会恍然明了它们的价值所在。我们的国家，我们的时代，如此迅猛地变化着，不管我们以什么样的心情来面对这一
在事业单位的发展进程中,人事管理制度的改革对事业单位的发展和改革起重要的作用,顺应时代的发展是事业单位的人事管理制度发展的必由之路,但由于诸多因素的影响,许多缺陷和
龙头山，又名鸾峰山，山巅有国务院立的浙、闽两省8号界碑。龙头山地理位置特殊，位于龙、庆、松、浦四县、市交界处，一山众览山下四县——龙泉、庆元、浦城、松溪四县交界线，可谓：“一山连四县，半步跨两省”，有始建于南宋的鸾峰仙阁古庙。 龙头山，山并不高，海拔800米左右，山上寺庙比不上普陀等名山寺庙，可是小山头上香客总是络绎不绝，凭籍五月的杜鹃花和百里竹海而得名。每年的五一，山头杜鹃花盛开期间，赏花烧香
巩固脱贫攻坚成果,推动乡村振兴,离不开法治保障.具体到农村法律援助工作领域,就是要让更多农民群体享受到依法治国的红利,提升援助质量.本文就新时期农村法律援助工作的困境
目前方面级情感分析方法主要利用注意力机制来实现句子与方面词的交互,然而该机制容易导致方面词与句子中各词的错误搭配,引入额外噪声。针对此问题,该文提出了一种基于特征双重蒸馏网络的方面级情感分析方法。首先利用BiLSTM提取句子中各词的上下文语义特征,并结合基于上下文的方面词嵌入方法,获取方面词的语义特征。进一步地,利用门控机制构建双重蒸馏门,通过初步蒸馏与精细蒸馏两个过程实现句子与方面词的语义特征交互,获取与方面词相关的句子情感语义特征。最终利用Softmax对获取的情感语义特征进行情感分类。在通用的Lap