【摘 要】
：
近些年来深度学习迅猛发展,在图像、自然语言处理、图处理等领域取得了良好的效果。但是随着深度学习的模型越来越复杂,可解释性也随之变得更差。深度学习训练出的模型都被视为黑盒子,严重阻碍了深度学习在某些特定领域的应用。在图神经网络领域,很多较新的解释方法可以归纳为求解一个掩码,然后根据掩码去生成最后的解释,常见的掩码方法有边掩码方法和节点掩码方法。现有的节点掩码方法的优点是生成的解释中几乎都是重要的边,
论文部分内容阅读
近些年来深度学习迅猛发展,在图像、自然语言处理、图处理等领域取得了良好的效果。但是随着深度学习的模型越来越复杂,可解释性也随之变得更差。深度学习训练出的模型都被视为黑盒子,严重阻碍了深度学习在某些特定领域的应用。在图神经网络领域,很多较新的解释方法可以归纳为求解一个掩码,然后根据掩码去生成最后的解释,常见的掩码方法有边掩码方法和节点掩码方法。现有的节点掩码方法的优点是生成的解释中几乎都是重要的边,但是它也有四个问题:第一个问题是同时生成多个解释,生成的第一个解释中边数少会丢失一些重要的边;第二个问题生成解释的时候没有考虑图的结构信息,导致生成的图可能不连通;第三个问题是只能解释图神经网络节点分类模型;第四个问题是运行时间较长。针对前三个问题,提出了一种新的单解释节点掩码方法（Single Explanation Node Mask,SENM）,对于第四个问题,进一步优化提出了边掩码和节点掩码（Edge Mask And Node Mask,EMANM）方法。针对第一个问题,SENM只生成一个解释并且设置解释中最少应该包含几个节点从而尽量少的丢失重要的边。针对第二个问题,SENM在生成掩码时采用类似广度优先搜索的策略从而考虑到图的结构信息。针对第三个问题,为了使方法能够解释图神经网络图分类模型,SENM为解释图分类模型设计了一种新的初始化步骤。针对第四个问题,EMANM方法在SENM方法的基础上,引入了边掩码方法对图快速进行预处理缩小图的大小,从而缩短运行时间。在三个图神经网络节点分类任务数据集上的解释实验表明,相比其他方法,EMANM做到了在稀疏度大致相等的情况下F1值平均提升6.45。在图神经网络图分类任务的分子数据集MUTAG上的解释实验表明,EMANM做到了在稀疏度大致相等的情况下保真度提升了6.92。消融实验表明,EMANM在保持SENM性能的基础上运行时间减少了21.9%。
其他文献
随着电子商务平台和社交媒体的应用愈加广泛,越来越多的用户倾向于在各大软件平台上发表评论。对这些文本进行情感分析,可以知晓用户态度,给多个领域带来巨大的商业应用价值。对象级情感分析任务可以分成评价对象抽取和评价对象情感分类两个子任务,即先抽取语句中的所有评价对象,再判断每个对象的情感极性。评价对象抽取模型存在的问题有:只使用通用词嵌入,缺少特定领域专有名词的语义信息;忽略历史标注信息与当前标签预测的
二维矩形装填面积最小化问题（Rectangle Packing Area Minimization Problem,RPAMP）要求将一组已知尺寸的矩形模块不重叠地、正交地放置在一个平面内,并使整体布局的面积最小化。RPAMP问题是经典的具有NP-难度的组合优化问题,在工业界也有广泛的应用,如工业原材料的切割和装填、芯片设计的布局规划等。因此,研究求解RPAMP问题的高效算法具有重要的理论价值和实
监督学习由于其强大的非线性表征能力已经成功应用在文本分类,语音识别,图像分类等领域,并在全监督图像分类任务上取得了巨大成功。然而,监督学习需要大量标签样本,这在实际应用场景中难以满足。因此,使用大量无标签样本以及少量标签样本的半监督图像分类算法逐渐成为图像分类领域的研究热点。本文重点研究半监督图像分类算法中结构简单、方法有效的自训练图像分类算法,分析了现有方法存在伪标签噪声和类别不平衡两大主要问题
工业领域的生产设备异常检测实际上是采用无监督技术准确预测设备早期劣化的异常工况和定位具体的异常参数,高斯混合模型是业内最广泛使用的技术之一。深度自编码高斯混合模型（Deep Autoencoding Gaussian Mixture Model,DAGMM）是基于高斯混合模型改造的深度异常检测技术,虽然在生产设备数据集上性能相对较优,但是仍有提升的空间。由于DAGMM所采用的深度自编码器的瓶颈层,
深度学习在自然语言处理（Natural Language Processing,NLP）领域的各项任务上取得了较好的成果,但是深度学习模型由于具有复杂的网络结构、海量参数的特点,内部决策过程难以被理解,模型的预测行为缺乏可解释性。目前针对深度学习在自然语言处理领域的可解释性研究分为两条路线:事后解释方法和自解释模型,事后解释方法从模型的预测结果出发,推断输入中哪些单词对模型预测结果的贡献程度高,自
面部表情是人际交往中信息传递的重要途径,在察觉人物情绪和分析人物话语含义等方面起到了非常重要的作用。随着智能设备的广泛应用以及深度学习方法的完善和普及,现有人脸表情识别算法在识别准确率等方面取得了一定提升,但仍旧存在较大改进空间。目前,大多数模型在实验室环境下表现良好,但面对采集自真实世界的数据集时表现并不理想。同时,由于人脸表情识别任务特有的类间相似性和类内差异性,现有的深度学习模型和单一的注意
数字水印技术在多媒体保护方面发挥着巨大的作用,实际应用需求的变更推动了数字水印技术的发展。传统的水印方法结合载体图像本身特征进行水印嵌入,但泛化效果存在不足。同时,信息传输的方式发生变化,摄屏攻击愈发常见。面对更多样复杂的攻击,传统水印已经远不能满足需求。结合深度学习的水印在透明性和鲁棒性上有了较大的提升,但仍然难以在二者中保持平衡。现有深度水印算法的嵌入基本在空域进行,载体图像的失真仍然比较明显
响应时间分析（Response Time Analysis,RTA）方法在全局最早截止期优先（Global Earliest Deadline First,G-EDF）调度下实时任务集的可调度性分析中具有举足轻重的地位。G-EDF调度的核心思想是通过比较作业的绝对截止时间来判断它们的优先级,绝对截止时间与优先级成反比。RTA方法通过比较每个任务的最坏情况响应时间（Worst-Case Respon
当热点事件发生时,热点数据会被大量重复地发送,造成整个网络系统的性能下降。为此,数据广播作为一种高效的数据分发技术被提出。在一些复杂的数据广播应用中,服务端需要在同一时刻监控多个随时间变化的对象,并根据这些对象的信息实时地做出调度决策。例如在交通信息预测的场景下,司机需要同时获取周边多条路段的实时路况,来做出当前最优的路线规划。这种需求场景可以抽象为对一组连续周期性查询的实时调度问题。在多信道广播
信息技术快速发展,社交媒体逐渐取代了传统媒体,信息在社交媒体上快速传播的同时,也给虚假新闻传播带来了可乘之机,虚假新闻对于个人和整个社会都有潜在的危害。新闻传播过程中的用户交互形成了一个复杂的异构图,其中评论和传播是两个重要组成部分,并且都包含了可用于评估新闻真实性的特征。现有的虚假新闻检测模型存在较多缺陷,在评论特征提取上,传统词向量与循环神经网络结合的文本表示方式,语义表达能力弱,评论回复结构