【摘 要】
：
孪生网络预训练语言模型（Sentence Embeddings using Siamese BERT-Networks,SBERT）在文本匹配的表示层面上存在两个缺点：（1）两个文本查询经BERT Encoder得到向量表示后，直接进行简单计算；（2）该计算不能考虑到文本查询之间更细粒度表示的问题，易产生语义上的偏离，难以衡量单个词在上下文中的重要性。该文结合交互方法，提出一种结合多头注意力对齐机
【基金项目】
：
国家重点研发计划项目（2019YFB1405200）； 广东省2019年省拨高建“冲补强”专项项目（5041700175）； 教育部第二批新工科研究与实践项目（E-RGZN20201036）～～；
论文部分内容阅读
孪生网络预训练语言模型（Sentence Embeddings using Siamese BERT-Networks,SBERT）在文本匹配的表示层面上存在两个缺点：（1）两个文本查询经BERT Encoder得到向量表示后，直接进行简单计算；（2）该计算不能考虑到文本查询之间更细粒度表示的问题，易产生语义上的偏离，难以衡量单个词在上下文中的重要性。该文结合交互方法，提出一种结合多头注意力对齐机制的SBERT改进模型。该模型首先获取经SBERT预训练的两个文本查询的隐藏层向量；然后，计算两文本之间的相似度矩阵，并利用注意力机制分别对两个文本中的token再次编码，从而获得交互特征；最后进行池化，并整合全连接层进行预测。该方法引入了多头注意力对齐机制，完善了交互型文本匹配算法，加强了相似文本之间的关联度，提高了文本匹配效果。在ATEC 2018 NLP数据集及CCKS 2018微众银行客户问句匹配数据集上，对该方法进行验证，实验结果表明，与当前流行的5种文本相似度匹配模型ESIM、ConSERT、BERT-whitening、SimCSE以及baseline模型SBERT相比，本文模型在F1评价指标上分别达到了84.7%和90.4%，比Baseline分别提高了18.6%和8.7%，在准确率以及召回率方面也表现出了较好的效果，且具备一定的鲁棒性。
其他文献
当前,学业倦怠已经成为中学生普遍面临的学业问题。对农村初中生而言,生存环境的重负、同伴关系的对立、学习任务的重压等因素会进一步加剧其学业的倦怠,阻碍其学业成就的获得,这引起了教育工作者的高度重视。具体而言,农村初中生难免会受到其所处环境里不同领域中的各类风险因素影响,这些影响会以累积形式作用于农村初中生,导致其学业倦怠的产生。本研究以899名农村初中生为调查对象,采用累积生态风险指数问卷、自尊量表
中职生处于身心发育的重要时期,较强的心理韧性有助于他们获得更好的发展。学校是中职生成长的第二大场所,学校对中职生的身心成长有着极为重要的作用。学校教师要充分利用教育资源,采取适当的教育策略,协调各方力量帮助中职生提升心理韧性。本研究以中职生为研究对象,探讨教师期望与中职生心理韧性的关系以及自尊、自我效能感的中介作用,并提出相关教育建议。本研究采用教师期望知觉评定量表、Connor-Davidson
人参（Panax ginseng C.A.May）是伞形目五加科人参属多年生草本植物,属药食同源,在我国已被广泛应用,但人参生长过程中发生的锈腐病会导致人参根的根皮产生红褐色斑点,对人参的销售造成了影响。在前期的研究中发现,锈腐病人参比正常人参具有更好的抑制肝癌细胞生长的效果,因此,本文旨在探究锈腐病人参对癌细胞的抑制作用,以期提高它的综合利用和附加值。首先,利用溶剂提取法对锈腐病人参分部位进行提
由于缺乏父母的照料与陪伴,我国广大的留守儿童在社会化过程中,逐步显现出心理健康问题。依恋是个体适应生存的一个重要方面,在个体的人生发展当中起着重要作用。青少年时期是儿童发展的特殊时期,父母是青少年发展中重要的依恋对象之一,亲子依恋作为父母与孩子最初的情感联结,对非自杀性自伤行为的影响不言而喻,而在亲子依恋形成的过程当中,个体可以学习情绪调节的方法,并在自身内部的工作模式中固化这种方式,这也会对非自
学习主观幸福感是衡量初中生学习幸福等级的综合评价指标,包含认知、情感两维度,众多研究者发现家庭环境与学校环境因素对初中生学习过程的认知与情感有着潜移默化的作用,且近几年的研究表明,自主支持是影响初中生学习主观幸福感的重要因素。对于初中生而言,父母和班主任是其学习过程中的有效支持者,两者支持的自主程度均影响其学习主观幸福感的发展水平,应对两者自主支持给予密切关注与高度重视。鉴于以上原因,本研究拟探讨
2020年全球爆发新冠疫情,核酸检测由于其早期灵敏的特点,成为了全球新冠检测的金标准。核酸检测首先要进行DNA扩增。DNA扩增仪从第一代普通DNA扩增仪到实时荧光定量DNA扩增仪,再到数字式DNA扩增仪,其核心技术是温控系统的设计与开发,受到了国内外政府与学者的关注。本人在前期的研究基础上,对温控系统进行优化创新。主要研究内容如下:建立DNA扩增仪温控系统的三维模型;采用温度场有限元分析法对系统关
劳动教育装备是根据国家课程标准要求，结合劳动课程特点，为学校有效实施劳动教育教学活动而系统配备的由工具、材料、资源有机组成的育人装备系统。劳动教育装备既要有标准化装备建设，同时要兼顾适合个人发展的个性化装备建设。教育装备作为劳动课程的有机组成部分，应在促进学生树立劳动思想、崇尚劳动精神、适应新时代要求等方面，支撑劳动教育落实、落细、落地。
共情是指能够识别他人的情绪并且能有部分体验他人情绪的能力。在我们日常生活中最为常见的共情便是疼痛共情,例如,当我们看到他人经受疼痛,从其所表现的表情、行动就能让我们“感同身受”地感知和体验到疼痛的过程。国内外文献关于性别对疼痛共情的影响的研究不少,但几乎都关注共情主体的性别差异,很少有人从疼痛者的角度来研究疼痛共情的性别差异。个体在感知他人疼痛共情时,容易受到来自负性情绪的影响。已有研究更多关注疼
位于青藏高原东南缘的三江侧向碰撞带是研究青藏高原物质东流和印度板块东向下插等科学问题的关键地带,地质构造复杂,变形强烈,地震活动频繁,分布有丰富的金属矿床。三江侧向碰撞带与丽江-小金河断裂交汇区是研究青藏高原地质构造和特提斯-喜马拉雅构造演化的关键窗口,该区域有走滑和张性不同震源机制分布,地壳结构呈现不均匀高低速结构,可能有下地壳流经过该区域的下方,揭示出该区域具有复杂的深部构造和介质变形特征。地
帕金森病症是一种神经退化性疾病,会导致患者手抖、手部僵直、手部无力等手功能障碍,严重影响病人的日常生活。手功能状态评估在病人康复训练中具有非常重要的作用,可以方便医生了解病人恢复状况,提高医生诊断的准确率。但是,目前常规的康复评估手段大多是医生结合自身经验,采用评估量表等方法,主观性强,且笨拙、不易操作。因此,研究客观、准确、便携的手功能评估设备具有非常实用的应用价值。本文设计了一款用于帕金森病人