【摘 要】
：
深度学习在自然语言处理（Natural Language Processing,NLP）领域的各项任务上取得了较好的成果,但是深度学习模型由于具有复杂的网络结构、海量参数的特点,内部决策过程难以被理解,模型的预测行为缺乏可解释性。目前针对深度学习在自然语言处理领域的可解释性研究分为两条路线:事后解释方法和自解释模型,事后解释方法从模型的预测结果出发,推断输入中哪些单词对模型预测结果的贡献程度高,自
论文部分内容阅读
深度学习在自然语言处理（Natural Language Processing,NLP）领域的各项任务上取得了较好的成果,但是深度学习模型由于具有复杂的网络结构、海量参数的特点,内部决策过程难以被理解,模型的预测行为缺乏可解释性。目前针对深度学习在自然语言处理领域的可解释性研究分为两条路线:事后解释方法和自解释模型,事后解释方法从模型的预测结果出发,推断输入中哪些单词对模型预测结果的贡献程度高,自解释模型直接从输入文本中提取文本片段解释分类器的预测行为,但是自解释模型的分类器存在退化和连锁欺骗问题。针对自解释模型存在退化和连锁欺骗问题,提出了一致性语义自解释模型（Consistent Semantic Rationalization,CSR）。CSR由生成器和分类器两部分组成,分类器是一个待解释的黑盒模型,生成器从输入文本中提取文本片段解释分类器的预测行为。CSR生成器和分类器引入一致性语义,共享语义表示层的参数,通过共享语义,生成器学习到了文本的真实标签,分类器学习到了文本的完整语义信息。分类器能准确评估生成器生成解释的好坏,生成器通过分类器准确的反馈能正确地提取分类器预测时依赖的文本片段,二者联合训练。CSR在自然语言处理情感分析任务的两个数据集上进行了实验。在可解释性评估中,对比当前最好的自解释模型,CSR在啤酒数据集上F1值平均提升10个百分点,在旅馆数据集上F1值平均提升3个百分点,说明CSR能准确提取分类器在预测时依赖的文本片段。在分类器评估中,CSR对生成的解释和原始文本有相近的分类准确率,同时CSR的分类准确率与情感分析基准模型相比只相差两个百分点,说明CSR不存在退化和连锁欺骗问题。实验表明,CSR能准确提取情感分析模型在预测时依赖的文本片段,有效地解释模型的预测行为。
其他文献
为了充分发挥高铁枢纽对周边城市区域发展的带动作用,“站城融合”已成为新一代高铁枢纽的发展目标。在此理念下,高铁枢纽站区内的公共交通设施除满足铁路客流的集散需求外,也应加强与城市服务设施的步行衔接。本文将高铁枢纽步行出入口和站区内的公共交通站点定义为公共交通节点,并对其步行可达性进行建模分析,以期对节点的布局优化提供理论支持,缓解其与城市功能设施衔接不畅的现象。本文的主要工作及成果有以下几个部分:首
局部破坏是连续配筋混凝土路面中常见的病害类型,由横向裂缝、水平裂缝和纵向裂缝共同造成。为了提高路面耐久性,完善路面设计理论,本文针对局部破坏中水平裂缝和纵向裂缝的产生机理展开研究。本文通过现场调查获得了局部破坏附近的横向裂缝宽度、横向裂缝间距等数据,用以建立包含裂缝相关数据的有限元模型。随后通过现场试验获得了获得了横向裂缝产生时路面板的温度梯度以及夏季和冬季的代表温度等数据,用于有限元模型中温度荷
最近邻搜索是向量检索的核心问题,在图片搜索、模式匹配等领域有着广泛的应用。最近邻搜索的目的是从一个向量数据集中找出与查询向量最相似的向量。传统的精确搜索算法在数据维度较低且数据规模不大的情况下,能够取得很好的效果。然而,随着数据维度与规模的增大,传统的精确搜索方法受限于“维数灾难”,不适用于高维向量的检索。因此,近似最近邻搜索问题成为了一个新的研究热点,它通过牺牲一定的精度,更快地从海量向量数据中
随着社会经济的发展,城市道路网络交通拥堵传播现象频繁发生,开展交通拥堵传播研究具有重大理论和实际应用的价值。论文旨在通过建立交通拥堵传播模型,进行交通拥堵传播过程仿真与分析,为制定路网优化策略、缓解交通拥堵提供参考。论文以城市道路网络为研究对象,在分析城市道路网络交通拥堵传播机理的基础上,构建节点拥堵传播重要度评价模型并确定拥堵传播重要度等级划分标准;在此基础上研究构建考虑节点拥堵传播重要度的城市
物联网时代下,操作员可以通过分析传感器等相关设备产生的多元时序数据,及时检测出时序数据中存在的异常,从而排除设备故障,以确保设备正常运行,避免异常造成的损失。然而,由于多元时序数据之间存在复杂的变化模式,多元时序异常检测面临很大的挑战。目前,主流的多元时序异常检测方法大多只考虑时序数据在时间上的依赖关系,或者大多专注于对原始时序数据进行精准重构,而忽略了多元时序数据之间存在的隐藏联系,这制约了多元
管道作为重要的油气资源运输通道和城市生命线工程的重要组成部分,其安全可靠运行必须得到保障。在永久地面位移（PGD）和运营期荷载作用下,管道和地基土之间会发生相对运动可造成管道受损甚至破坏。管土之间存在明显的相互作用,这是管道力学响应的关键影响因素,因此有必要对其进行深入研究以提高对管-土相互作用的认识,同时为管道设计提供参考。本文研究的主要目的是揭示中密至密实砂土中埋地管道在竖向-横向空间中的管-
随着电子商务平台和社交媒体的应用愈加广泛,越来越多的用户倾向于在各大软件平台上发表评论。对这些文本进行情感分析,可以知晓用户态度,给多个领域带来巨大的商业应用价值。对象级情感分析任务可以分成评价对象抽取和评价对象情感分类两个子任务,即先抽取语句中的所有评价对象,再判断每个对象的情感极性。评价对象抽取模型存在的问题有:只使用通用词嵌入,缺少特定领域专有名词的语义信息;忽略历史标注信息与当前标签预测的
二维矩形装填面积最小化问题（Rectangle Packing Area Minimization Problem,RPAMP）要求将一组已知尺寸的矩形模块不重叠地、正交地放置在一个平面内,并使整体布局的面积最小化。RPAMP问题是经典的具有NP-难度的组合优化问题,在工业界也有广泛的应用,如工业原材料的切割和装填、芯片设计的布局规划等。因此,研究求解RPAMP问题的高效算法具有重要的理论价值和实
监督学习由于其强大的非线性表征能力已经成功应用在文本分类,语音识别,图像分类等领域,并在全监督图像分类任务上取得了巨大成功。然而,监督学习需要大量标签样本,这在实际应用场景中难以满足。因此,使用大量无标签样本以及少量标签样本的半监督图像分类算法逐渐成为图像分类领域的研究热点。本文重点研究半监督图像分类算法中结构简单、方法有效的自训练图像分类算法,分析了现有方法存在伪标签噪声和类别不平衡两大主要问题
工业领域的生产设备异常检测实际上是采用无监督技术准确预测设备早期劣化的异常工况和定位具体的异常参数,高斯混合模型是业内最广泛使用的技术之一。深度自编码高斯混合模型（Deep Autoencoding Gaussian Mixture Model,DAGMM）是基于高斯混合模型改造的深度异常检测技术,虽然在生产设备数据集上性能相对较优,但是仍有提升的空间。由于DAGMM所采用的深度自编码器的瓶颈层,