图神经网络可解释性的研究与应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:rabbitwangli
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年,图神经网络的研究方兴未艾,在诸如知识图谱、社交网络、生物和化学等领域取得了卓越的效果。人们在享受它高效能力的同时,也在从各个方面对其可解释性进行研究,致力于探明其内部决策的机理。数学知识的推理由于知识的标准化、描述的规范化和使用图谱化形式进行推理,与图神经网络具有高度的契合性。因此将图神经网络与数学自动推理系统相结合,可以极大提升系统的学习和推理能力。针对其可解释性进行研究,能够使推理的过程更加透明,令系统更加“类人”。本文将图神经网络的可解释性基于输入的相关性分为两个类别:输入无关的模型级别可解释性和输入相关的实例级别可解释性,并将它们应用于“初等数学类人解题系统”中的知识表示和实例化定理选取。本文的主要工作如下所示:(1)将初等数学知识的表示学习分解为实体关系的嵌入学习和表达式的嵌入学习。对Trans E的计算可解释性进行了研究分析,然后将其应用于实体关系三元组的嵌入表示的学习之中。收集204762条数学三元组,对训练得到的实体关系向量设计基于计算可解释性的分析方法,验证其良好的基于距离的嵌入效果,在计算相近性的实验上准确率为62.78%。(2)对于数学表达式的表示学习,提出了更加符合数学知识的表达式置换等价任务,并构造相应的数据集,生成945882条数据。对BERT的结构可解释性进行探讨,然后应用在数学表达式置换等价任务的训练之上,训练准确率为94.52%。基于注意力结构和置换等价任务目的对训练结果的解释性进行分析探讨,证明表达式向量的有效性。(3)搭建图卷积网络,结合实体关系嵌入向量和表达式的嵌入向量作为节点特征表示,应用于题目图谱和实例化定理图谱的匹配之中。构造3892条数据,测试准确率为73.52%。为探究模型对输入中不同三元组的侧重程度,设计了对数学题目图谱进行扰动的解释性研究方法。然后进行实验并分析,探讨模型的学习效果。
其他文献
仿生技术、显示技术和物联网产业等的快速发展,推动了人们对高性能、先进电子皮肤传感器的需求。电容型压力传感器由于具有响应速度快、稳定性好、非接触式感应等类皮肤行为,成为国内外研究的热点。但是传统的平面结构的介电层具有很大的粘弹性,迟滞严重,影响了器件性能。为了解决这一问题,研究人员对器件的设计策略进行了大量的探索。目前提高电容型压力传感器性能的策略类型主要分为三种:一是选择模量较低、介电性能好的材料
目前,外骨骼机器人已经在成人康复领域有了一定规模的应用,但在脑瘫等儿童康复领域还未形成大范围的应用规模,市面上亦缺乏成熟的儿童外骨骼机器人,有关外骨骼机器人对儿童运动能力的研究也很初步,缺少外骨骼机器人对儿童步态的影响及运动功能评估研究。因此,本论文针对该问题,对AIDER儿童外骨骼机器人步行状态下的运动功能及步态影响进行了研究,以验证儿童外骨骼机器人对于儿童地面步态训练是否是可行的,步态生物力学
近些年随着深度学习的快速发展,基于深度学习的算法被广泛运用于二维目标检测和姿态估计中。在实际应用场景下,比如机械臂抓取、自动驾驶以及AR领域中,目标物体往往处在复杂的环境中,容易受到遮挡。针对遮挡场景下的物体6D姿态估计研究具有十分广阔的空间和重要的研究价值。因此本文开展基于深度学习的被遮物体姿态估计的研究,主要包括三部分:受遮挡情况下物体姿态估计问题研究,工业场景下物体自遮挡姿态估计问题研究,多
近年来,图神经网络在社交网络、推荐系统、分子化学和知识图谱等领域取得了显著的成果。一方面,它解决了深度学习方法难以处理非欧式空间数据的问题,另一方面,它提供了一种对非规则数据提取特征的方法。图结构数据是生活中广泛存在的一种数据结构,与欧氏空间的数据不同,图结构可以更好的反映节点之间的联系。随着图神经网络的迅速发展,许多针对图结构数据的研究也如雨后春笋般涌现,这些研究主要包括节点表示、链接预测和图学
扭摆滑动定向作业过程中,最常见的问题是“托压”,来自于固定的钻具与井壁之间的摩擦力。这一问题可通过扭矩摇摆技术解决,即向钻具施加正、反向扭矩,化静摩擦力为动摩擦力,以减少钻具与井壁间的作用力。目前由于缺乏相关理论支撑,在滑动定向作业过程中为使工具面转动至目标值,仍需通过扭摆系统人工对正、反向扭矩值进行调整,该方式依赖于工程师个人经验,各井的控制效果因人而异,参差不齐,作业效率较低。针对以上情况,依
路径规划一直是热门的话题和研究方向,如何及时捕获和提前预测车辆行驶时间的动态变化是解决路径规划的难点及重点,本文提出的算法能够在保证计算速度的同时,提高路径规划的准确度。本文从以下几个方向研究路径规划问题:如何最小化路径行驶时间的均值和标准偏差的(加权)线性组合来解决可靠最短路。在合理假设基础交通网络的行驶时间遵循多元高斯分布的情况下,提出了一种高斯过程路径规划(GP3)算法来计算先验最优路径作为
三维点云语义分割是将点云中的每个点按照各自的类别进行语义的划分,对同一类别的点进行相同的标注。随着三维数据获取的难度变小,基于三维数据的技术开始逐渐发展,也已经开始应用在自动驾驶、智能机器人、遥感和医疗等领域中。点云语义分割算法是三维点云处理的重要方向之一,传统的点云分割方法精度不高,因此,本论文主要研究的内容为基于深度学习的三维点云语义分割,使用的基础网络为PointNet++,并对其从局部空间
回复式神经网络(Recurrent Neural Networks,RNNs)是深度学习领域中的一种基础的人工神经网络,其作为处理序列数据的记忆模型被广泛应用。如何处理好梯度消失与梯度爆炸问题一直是训练RNN的关键和难点。长久以来,人们提出了多种方法来解决RNN训练时的梯度问题,不断设计新的RNN变体用以处理更长的序列。尽管许多经典的模型已经被提出,如何使RNN模型在快速应对序列中短期变化的同时捕
计算机视觉发展过程中,人体姿态估计任务一直备受关注。在工业界和学术界,姿态估计任务也是极具挑战性的任务之一,目标是使机器尽可能的检测出人体样本中关键节点,比如鼻子、左右肩、脚踝、手腕。随着深度神经网络的引入和应用,人体姿态估计任务往往是预测人类行为规律的基础研究任务,为行人检测、样本重识别、特殊行为检测、人机交互等任务提供了基础预测能力。当前主流的人体姿态估计网络框架分为两种应用型网络,即人体结构
在工业产品的生产过程中,通常会无法避免地产生一些表面缺陷,因此需要检测出产品的表面缺陷以便及时发现问题并且对产品质量加以控制。与人工检测方式相比,基于计算机视觉的工业表面缺陷检测方法,具有成本低、安全性好、效率高、灵活性好等诸多优势,已成为自动化缺陷检测系统的重点研究方向之一。针对工业生产中产品的表面缺陷检测问题,本文设计了一种基于计算机视觉的深度学习平台,在表面纹理较规律的缺陷检测任务中取得了很