基于知识蒸馏的隐式篇章关系识别

来源 :计算机科学 | 被引量 : 0次 | 上传用户:ggep123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于缺少连接词信息,隐式篇章关系识别模型需要基于两个论元(子句或者句子)的语义来推导它们之间的篇章关系,但目前性能还比较低.对于语料标注人员而言,隐式篇章关系的标注是很困难的,他们通常先插入一个合适的连接词用于辅助隐式篇章关系的标注.基于上述情况,文中提出了一种基于知识蒸馏的隐式篇章关系识别方法,其目的是利用语料标注时插入的连接词信息来提高识别的性能.具体地,先构建一个连接词增强的模型用于融合连接词信息,然后基于知识蒸馏的方式把连接词增强模型学到的知识迁移到隐式篇章关系识别模型中.实验结果表明,在常用的PDTB数据集上,所提方法取得了比同类基准方法更好的识别性能.
其他文献
随着卷积神经网络深度的不断增加,深度卷积神经网络的训练会变得更加困难。此外,在图像超分辨率中,低分辨率图像的通道特征和输入通常在不同的通道中被平等对待,这就导致了卷积神经网络的表征能力被弱化。为了解决这些问题,提出了一种多跳连接残差注意网络,该网络利用多跳连接中的残差(Residual in Multi-skip Connection, RIMC),构造了具有多个残差组的深度网络。每个残差组包含了
针对目标检测时Haar-like特征值过多、计算时间长、无法描述目标纹理特征且识别率一般的问题,提出一种基于滑窗原点信息的阈值自调节IHL(Improved Haar-like LBP)特征提取算法。该算法首先构造了IHL特征编码方法,将Haar-like特征和局部二值LBP特征融合;然后在计算Haar-like型局部二值化特征时,使用高斯矩阵获得符合像素分布规律的自调节阈值;同时在求特征值时引入
精细化的领域文本分析是高质量领域知识获取的重要前提,它通常依赖于大量某种形式的语义文法产生式,但总结这些文法通常耗时耗力.对此,文中提出了 一种基于容错Earley解析算法的语义文法自动学习方法,根据种子文法自动生成新的语义文法(包括词类和文法产生式),以减少人工成本.该方法利用优化后的容错Earley解析器,对输入的语句进行容错解析,然后根据容错解析生成的解析树产生候选语义文法,最后对候选语义文法进行过滤或纠正得到最终的语义文法.在5种不同疾病的中医医案的实验中,该方法的词类学习的正确率达到63.88%
尽管基于卷积神经网络的去雾算法在合成的均匀雾气数据集上已经取得了巨大进展,但在真实的非均匀有雾图像上仍然表现不佳。为了快速有效地去除图像中的非均匀雾气,文中首先提出了一种多补丁和多尺度层级聚合网络结构(Multi-patch and Multi-scale Hierarchical Aggregation Network, MPSHAN),融合了多补丁局部化信息和多尺度全局化信息。其次,提出了层级
对于SAT求解器,目前流行的分支变量决策策略大多是基于冲突的变量活跃度评估算法,选择具有最大活性的未赋值变量作为决策变量,优先解决最近的冲突.但是,它们都忽略了包含决策变量的子句数目对布尔约束传播(BCP)的影响.针对此问题,提出了 一种基于学习子句删除策略的分支变量决策策略(VDALCD),在删除学习子句的同时减小被删除子句中变量的活跃度.基于VDALCD策略分别对Glucose4.1,MapleLCMDistChronoBT-DL-v2.1进行改进,形成了求解器Glucose4.1_VDALCD和Ma
针对文本检索中存在的检索效率和准确率不高的问题,提出一种基于预训练语言模型和深度哈希方法的检索模型.该模型首先通过迁移学习的方法引入预训练语言模型中所包含的文本先验知识,之后进行特征提取,将输入转化为高维的向量表示.在整个模型的后端加入哈希学习层,通过设计特定的优化目标对模型的参数进行微调,从而在训练中动态地学习哈希函数和每个输入的唯一哈希表示.实验表明,该方法的检索准确率相较于其他基准模型在top-5和top-10指标上分别有至少21.70%和21.38%的提升,哈希码的引入使得模型在仅损失4.78%准
安全生产管理是建筑、重工业等高危企业发展的重要方针,安全帽在施工生产环境中对人员头部防护起着关键作用,因此加强安全帽佩戴监管十分必要。近年来,基于图像视觉的安全帽佩戴监测方法成为了企业实施管理的主要手段,如何提高安全帽佩戴检测精度和检测速度是应用的关键难题。针对上述问题,文中提出了一种基于改进YOLO v4的安全帽佩戴检测算法。首先,在YOLO v4算法的3个特征图输出的基础上增加了128×128
临床病历电子化的推广普及使得利用自动化的方法从病历中快速抽取高价值的信息成为可能.作为一种重要的医学信息,肿瘤医疗事件由描述恶性肿瘤的一系列属性构成.近年来,肿瘤医疗事件抽取已成为学术界的一个研究热点,众多学术会议将其发布为评测任务,并提供了一系列高质量的标注数据.针对肿瘤医疗事件属性离散的特点,文中提出了一种中文医疗事件的联合抽取方法,实现了肿瘤原发部位和原发肿瘤大小两种属性的联合抽取和肿瘤转移部位的抽取.此外,针对肿瘤医疗事件标注文本的数量和类型少的问题,提出了一种基于关键信息全域随机替换的伪数据生成
近年来,以无人机为节点的飞行自组网因其在各个领域的不同应用而受到广泛关注.为满足复杂任务的服务质量需求,飞行自组网的路由需要提供足够高的网络性能.相比于基于全向天线的全向路由,基于定向天线的定向路由能提升信道利用率,扩大通信范围,可以使飞行自组网获得更好的网络性能和服务质量.文中综述了基于定向天线的飞行自组网定向路由,分析了在飞行自组网中应用定向天线的优势和所带来的问题,而后对现有单路径定向路由和多路径定向路由从定向天线控制机制、路由算法、使用场景和优缺点等多个方面进行详细介绍,并从天线类型、控制机制、网
俄语的多模态情感分析技术是情感分析领域的研究热点,它可以通过文本、语音和图像等丰富信息自动分析和识别情感,有助于及时了解俄语区民众和国家的舆论热点.但目前俄语的多模态情感语料库还较少,因而制约了俄语情感分析技术的进一步发展.针对该问题,在分析多模态情感语料库的相关研究及情感分类方法的基础上,首先制定了一套科学完整的标注体系,标注内容包括话语、时空和情感3个部分的11项信息;然后在语料库的整个建设和质量监控过程中,遵循情感主体原则和情感连续性原则,拟订出操作性较强的标注规范,进而构建出规模较大的俄语多模态情