【摘 要】
:
深度学习方法发展迅猛,已经被广泛应用于生活的方方面面。但是由于深度学习方法遵循数据驱动的范式,模型常常会学习到人类无法理解或不期待其学习到的规则,即虚假相关性,这给模型应用带来了隐患。因此,类似于传统软件,深度网络模型同样需要测试和调试。目前已有一些工作在这个方向上进行了尝试。对于模型测试主要有两类工作,借鉴软件测试中的思想将其应用于深度学习模型测试,以及从深度学习数据分布的角度生成测试集来进行测
论文部分内容阅读
深度学习方法发展迅猛,已经被广泛应用于生活的方方面面。但是由于深度学习方法遵循数据驱动的范式,模型常常会学习到人类无法理解或不期待其学习到的规则,即虚假相关性,这给模型应用带来了隐患。因此,类似于传统软件,深度网络模型同样需要测试和调试。目前已有一些工作在这个方向上进行了尝试。对于模型测试主要有两类工作,借鉴软件测试中的思想将其应用于深度学习模型测试,以及从深度学习数据分布的角度生成测试集来进行测试。对于模型调试同样可以分为两类:基于数据增强的模型调试和基于改进损失的模型调试。这些工作仍然存在一些不足。模型测试方面,主要有存在两个问题:(1)缺少统一的框架体系。目前没有工作系统性地讨论虚假相关性的来源和模型测试的关系。(2)测试类型单一。现有工作对待测试的视角比较单一,没有考虑到多类型的测试。模型调试方面也有以下不足:(1)需要额外数据。多数工作都是通过数据增强来平衡数据集,这种方法会增加额外成本。(2)方法之间不够兼容。不同的方法无法相互促进,甚至存在冲突。为了解决上述问题,本文以图像识别模型为对象研究了深度网络模型的测试以及调试工作,主要内容如下:(1)基于分布迁移的图像识别算法测试研究,利用分布迁移产生分布外测试集进行模型测试和评估。当前的深度模型测试的工作本质上是研究如何生成和训练数据存在分布差异的测试集,即测试数据相比于训练数据发生分布迁移。本文首先从概率分布的角度,系统地将分布迁移分成了三种类型并构建了三组对应的分布迁移数据集。实验结果发现分布内测试下模型的性能不准确并且模型相对排名不稳定。进一步地,本文分析发现,造成分布内测试失败的原因是模型在不同的分布迁移设置下学习到的不同的虚假相关性。这个结论启发了本文的测试方案,即使用多级别多类型的分布外测试集来评估模型的性能,以及当无法显式构造分布迁移时,可以通过聚类的方式生成隐式的分布外测试集来判断模型的相对排名。(2)基于反例对比学习的图像识别算法调试研究,引入对比损失约束模型修复模型错误。由于引入额外数据会增加成本,且面临数据质量的问题,本文目标是在不引入额外数据的前提下对模型进行修复。具体来说,本文首先引入了反例的概念,并通过分析发现反例样本具有帮助模型克服虚假相关性的潜力。然后,本文提出了反例对比学习方法,通过构造正负反例样本对,约束模型对虚假相关性的学习。最后进行了定性和定量实验,实验结果表明了方法的有效性。
其他文献
城市轨道交通是一种快速、大运量的公共交通工具,极大地满足了居民出行的需求,但其运营过程中不可避免会出现信号故障、车辆故障等突发事件。目前,突发事件后的行车调度指挥主要依赖调度员人工调整,调整过程通常采取分阶段处置的方法,由于每个阶段的处置过程不考虑其他阶段影响、且缺乏科学地决策支持,可能产生“小故障、大影响”的严重后果。基于此,本文引入韧性作为行车调度评价指标,面向突发事件发展的全过程构建列车运行
随着互联自动车(Connect and Automated Vehicle,CAV)的推广,高速公路上将会是互联车辆和人工驾驶车辆(Human-driven Vehicle,HV)同时存在的混合交通流。目前我国高速公路上已有检测器主要针对人工驾驶车辆,且存在检测精度低、时效性差等问题,无法满足混合交通流场景的需求。基于此,本文分别以高速公路匝道系统上已有检测器和新建高速公路匝道系统中的可通信检测器
我国华南沿海地区地理环境优越,经济发展迅速,与此同时,大量高层、大跨等结构在该区域涌现。然而华南地区也是我国受台风影响最严重的区域,所以在上述风敏感结构的设计中,风荷载成为主控荷载。本文应用基于Vickery台风风场模型的Monte Carlo数值模拟方法选取足够多的样本进行台风危险性分析,通过研究得到了我国华南沿海八个城市的极值风速。该研究可一定程度上弥补台风观测资料的不足,为华南沿海地区的抗风
随着社会经济的急剧发展,我国的交通运输需求直线上升,特别是与民众密切相关的铁路交通网络迅猛发展。但是,随着高铁速度的不断提升,铁路隧道的跨度需求越来越大,这便对超大跨隧道的建设提出了新的挑战。因此,本文以超大跨高铁隧道为研究对象,针对下北山1、2号隧道提出了双层初期支护的构想,并通过理论分析、数值模拟、现场监测的手段对双层初期支护的承载受力、多步序开挖力学特性、双层初期支护参数优化等问题进行了研究
传统城市轨道交通直流牵引供电系统使用24脉波二极管整流机组,其能量流向单一,机车再生制动能量无法得到充分的利用;同时,不控整流方式下牵引网电压易波动,可再生新能源并网困难。为响应我国“碳达峰,碳中和”重大战略目标,促进社会可持续发展,本文提出一种基于双向换流器的柔性直流牵引供电系统。城市轨道交通承载着缓解交通压力的重任,因而牵引供电系统的安全运行尤为关键。本文立足柔性直流牵引供电系统,围绕其运行特
作为轨道结构中承上启下的重要构件,轨枕起着支撑钢轨、向下传递荷载、保持轨道形位的重要作用,其力学性能直接关系到轨道结构整体的可靠性和列车的行车安全。近年来,由于具有高强度-重量比,优良的绝缘性能,出色的耐腐蚀性、耐用性、可操作性,复合轨枕这一新兴轨枕形式逐渐受到青睐。然而,强度不足是复合轨枕的主要缺陷之一,在一定程度上阻碍了其广泛应用。复合轨枕的力学性能不仅与其原材料组分和比例有关,也与其生产工艺
近年来,我国松树木材进口需求增加,松线虫通过附着在进口木材和包装箱等物品中进入我国,对森林造成较为严重的危害。江西省宜春市奉新县松树分布广泛,易受松材线虫病为害,需采取切实有效的防治措施防治松材线虫病。因此,结合奉新县实际情况进行调查研究,分析松材线虫病的为害树种、症状、规律及分布情况,介绍物理、化学、生物、抗种培育4种防治技术,并根据奉新县近年来松材线虫病防控工作开展情况提出加强监测预警工作、加
随着社会的发展,人们越来越认识到学习对于未来发展的重要性,对孩子教育的投入也在逐渐增大。然而市面上火热的拍照搜题类辅助学习软件却可能对于孩子的学习起到反作用,孩子可能会直接把搜索得到的答案抄写,并不会去尝试学习如何解答。本系统的搜题解与传统的拍照搜题不同,传统的拍照搜题是从数据库中将原题和答案找出来直接展示给用户,而搜题解是从库中找出与搜索题目解题思路一致的题目并展示题解,用户只有通过学习题解才可
列车在运行过程中不可避免会受到各种突发事件的干扰,如何最大程度上减轻干扰对旅客影响,合理规划列车在干扰后在各个车站的到达和出发时刻意义重大,目前我国铁路企业在面临干扰时列车的调度调整均由调度员依靠经验人工完成,而实际现场决策时间短,调度人员面临压力巨大,采用科学合理的调整模型和算法求解列车的到发调整方案可以为调度人员提供决策支持,提高决策的智能化和科学化。本论文对始发站发生干扰导致无法发车,以及区
2016年,财政部发布《注册会计师审计准则1504号》,新准则于2017年起在部分上市公司开始实施,要求在其2016年的审计报告中进行披露,剩余的上市公司则从次年开始披露,截至2020年底,该政策已经实施了5年。同时,2020年碳达峰、碳中和政策的提出,对电力企业尤其是火力发电企业的生产经营产生了巨大的影响,对相关企业财务信息的审计带来了新形势和新挑战。新审计准则目的是增加审计报告的信息含量,而这