【摘 要】
：
近年来,以卷积神经网络为代表的深度学习取得了长足发展,同时,深度学习依赖海量标注数据的弊端也随之凸显。在标注数据获取困难且成本高的情景下,深度学习更是难以发挥出其应有的效能。如何利用有限的或少量的标注数据获得泛化性能优良的预测模型,逐渐成为了人工智能领域的研究热点之一。小样本学习,为上述问题的解决带来了希望,并被广泛应用于小样本情景下的机器学习任务。本文以解决小样本情景下的关系分类任务为出发点,以
论文部分内容阅读
近年来,以卷积神经网络为代表的深度学习取得了长足发展,同时,深度学习依赖海量标注数据的弊端也随之凸显。在标注数据获取困难且成本高的情景下,深度学习更是难以发挥出其应有的效能。如何利用有限的或少量的标注数据获得泛化性能优良的预测模型,逐渐成为了人工智能领域的研究热点之一。小样本学习,为上述问题的解决带来了希望,并被广泛应用于小样本情景下的机器学习任务。本文以解决小样本情景下的关系分类任务为出发点,以构建一个性能优良的关系分类预测模型为目标,以因果干预为手段,围绕如何实现小样本场景下的关系分类预测、如何弱化混杂因子对预测模型性能的影响等问题,展开理论和实验研究工作。首先,针对混杂因子对预测模型性能产生的负面影响,提出一种基于因果干预的混杂弱化方法。该方法使用基于后门调整的因果干预方法实现对预训练模型先验知识的分层,采用将先验知识分层层数作为网络参数参与模型训练的方式确定分层层数最优值,并引入BN层消除由于后门调整引起的梯度弥散问题,从而达到弱化混杂因子对模型预测性能影响的目的。其次,为增强模型的语义表征及特征提取能力,使用RoBERTa替换原型网络中作为特征提取器的CNN部分,使得模型更加适合关系分类任务情景,进而有效提升模型的预测性能。最后,在上述研究基础上,构建基于原型网络与因果干预的小样本关系分类模型RBERTI-Proto,并在数据集Few Rel上开展模型性能对比及消融实验,其中,在5-way 5-shot的场景下RBERTI-Proto模型的ACC值达到了93.38%,验证了RBERTI-Proto模型与其他模型相比的性能优越性,以及基于因果干预的混杂弱化方法、RoBERTa作为模型特征提取器对于RBERTI-Proto模型性能提升的有效性。
其他文献
近年来,随着无人机应用场景的不断扩大,众多行业都可以搭配无人机进行行业模式拓展或者深入专业研究。无人机具备的高机动性、可灵活部署等性能使无人机在通信行业应用尤其广泛,其中,无人机作为移动基站、移动中继辅助等技术早已发展得较为成熟。随着无源物联网设备的出现,无人机有了新的应用方向。应用无人机辅助反向散射设备通信,可以解决反向散射设备通信能力差、能源短缺的问题。本文以无人机辅助反向散射通信系统为基础,
氨在人类生存和社会发展中占据着重要地位,不仅是化肥的重要原料,还可作为良好的能源载体。工业合成氨依赖于一百多年前发明的Haber-Bosch（N2+H2→NH3）工艺,由于N2的化学惰性以及该反应的放热特性,合成氨反应需要在温高压下进行,因此需消耗大量能源。过去几十年,人们一直致力于寻找能够在低温低压下催化氨反应的催化剂。过渡金属被认为是催化氨合成的良好催化剂,其表面的合成氨反应遵循Br（?）ns
上世纪八十年代中期,啁啾脉冲放大技术（chireped pulse amplification tech-nology,CPA）的提出使激光强度得到了飞跃式的提高。超强超短脉冲激光的出现拓宽了激光与物质相互作用的研究领域,催生了强场物理这门学科。物质在与强激光相互作用时,极易被电离,产生等离子体。在激光与等离子体相互作用中,会产生丰富的物理现象,比如激光加速和激光诱导等离子光栅的产生等等。其中,加
液体表面张力在先进制造技术,微流控技术以及多种化学/生物工程技术扮演着至关重要的角色。相较于现代固态电子性质的超快调控技术,人类对液体表面原子结构的操控长久以来局限在宏观时空尺度。与此同时,飞秒激光已被广泛应用于超限制造和加工技术的研发之中,展现出对微纳尺度的物质结构与热力学性质精准调控的巨大优势。本论文基于电子-原子双温模型与分子动力学结合的计算机模拟技术,发展了一套超快激光辐照作用下金属液体表
随着互联网数据的爆炸增多,如何高效地获取数据中的信息和知识是一项巨大的挑战。知识图谱嵌入表示的准确性,对于相关知识获取任务模型的性能具有重要的基础性影响,是目前知识图谱领域的研究热点之一。本文以提升知识图谱嵌入表示的准确性为目标,展开理论及其实验研究,以提高相关知识获取模型的表现。首先,针对知识图谱中实体类型信息时常缺失的现象,在充分利用知识图谱内部结构信息的基础上,提出一种基于邻域关系表征向量的
异质网络表示学习是在各类实体及复杂关系构成的网络中,学习到低维、稠密、独立的向量表示过程,解决了网络分析的高维稀疏和可扩展性差等问题。现有研究大都借助随机游走,依据转移概率进行节点遍历,然而这种方法并不适用于大型复杂网络,且无法确保得到的路径信息最优。因此,对基于结构游走的异质网络表示学习模型进行了研究,具体研究工作如下。首先,针对随机游走方法难以表示出节点完整信息和向量最优解的问题,提出基于结构
量子理论对人们理解微观世界具有重要的意义。随着量子操纵技术的不断进步,量子信息逐步兴起。如今,量子信息已经成为世界上最受关注的领域之一。量子信息的应用前景十分广阔,例如可以实现更安全的信息传输,创造出功能更强大的量子计算机,以及制造更精密的量子测量仪器。量子纠缠是量子信息技术的关键资源。由于量子纠缠具有非定域性特点,其被广泛应用于量子信息技术的诸多领域。目前,本课题组基于四波混频过程已经成功制备出
随着人工智能的普及,智能机器人被广泛应用于人类的生产生活中,在杂乱场景中,推动与抓取技能学习成为服务机器人必备的基本技能。目前,深度强化学习被用于求解机器人推动与抓取技能学习问题,但由于操作目标种类繁多且特征各异,加之服务环境的复杂性和现有算法本身的局限性,现有研究仍存在学习效率低、成功率低和泛化能力不足等问题。针对杂乱场景中的面向目标推动与抓取任务,本文将工作空间中机器人动作决策过程定义为一个全
药物分子一般在蛋白质分子口袋位置通过与其结合而发挥药效,因此蛋白质上药物结合口袋位置及口袋特征等信息对基于结构的药物设计及先导化合物优化非常关键。由于生物体中的蛋白结构总是不停的运动变化,如何保证口袋的稳定性从而提高口袋识别准确性,以及如何对口袋特征进行更全面有效地提取和表示直接影响到动态口袋分析。本文结合口袋的高维、时空、关联特点,对口袋特征开展研究。首先,为了对口袋数据的拓扑和形态特征进行更好
随着对无人飞行器和智能机器人研究的不断深入,机器人与飞行器在三维空间中的路径规划问题逐渐出现在国内外研究学者的视角中,这类问题的重点是将二维空间路径规划拓展到三维空间乃至三维障碍空间。在三维障碍空间中,障碍物的碰撞检测是路径规划问题的研究基础。现有的碰撞检测研究多基于AABB模型和OBB模型等空间冗余度高的空间模型,这类模型难以对多个障碍物组合形成的孔洞进行建模,只适用于单独的障碍物。在三维空间的