基于对抗样本的深度学习系统白盒测试框架的设计与实现

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:zhangbin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机硬件计算能力的大大提高和大规模数据集的不断出现,让深度学习技术也在不断迈入新阶段。深度学习系统的发展在带来机遇的同时,也给其测试技术带来了新的挑战。与传统软件相比,深度学习系统在内部结构与外部表现方面均存在很大的差异,无法直接将传统软件测试技术中的白盒测试方法应用于深度学习系统。目前,已有多个关于深度学习系统的白盒测试覆盖准则被提出,但准则在实际系统中应用的有效性尚有待检验。本文主要研究深度学习系统白盒测试覆盖准则,首先依据提出的一组白盒测试覆盖准则的度量指标,完成对比研究。其次基于覆盖准则,设计实现针对深度学习系统的白盒测试框架。具体研究内容如下:(1)提出了白盒测试覆盖准则的度量指标,包括有效性、一致性、相关性。基于Le Net模型(Le Net1、Le Net4、Le Net5)和MNIST数据集以及对抗样本,对各个测试覆盖准则进行了系统对比研究。通过多个实验,得出各个覆盖准则的覆盖率和准确率数据,并按照覆盖准则在指标上的表现将其进行分类。根据实验结果,本文得出如下结论,在对鲁棒性要求较高的系统进行测试时,可以选择颗粒度较细的覆盖准则,包括Neuron Bondary Coverage(NBC)、Strong Neuron Activation Coverage(SNAC)、Likelihood-based Surprise Coverage(LSA),对鲁棒性要求一般的系统进行测试时,可以选择k-multisection Neuron Coverage、top-k Neuron Coverage、Importance_driven Coverage,对于鲁棒性要求较低的系统进行测试时,可以选择Neuron Coverage、Sign-Sign Coverage、Distance-based Surprise Adequacy。(2)设计实现了针对深度学习系统的白盒测试框架并在一个分类系统上进行验证。白盒测试框架实现了对预训练好的深度神经网络模型进行覆盖率计算以及在对抗样本上的准确率评估功能,可以通过覆盖率结果来分析模型鲁棒性。接着又在实际系统中对框架进行应用验证,在验证过程中,根据覆盖准则的分类结果以及系统鲁棒性要求,选择了NBC、SNAC以及LSA进行覆盖率计算。结果证明,已实现的深度学习系统白盒测试框架,可以应用于分类模型的覆盖率计算,进而可以对系统进行鲁棒性评估。
其他文献
从1978年国内理论界提出了住房商品化、土地产权等观点,到1998年住房实物分配制度的取消和按揭政策的实施后房地产投资进入快速发展时期,再到“房住不炒”的商品房居住属性回归下的平稳阶段,我国的商品住宅开发已走过了40年的历史。随着可持续发展基本国策下的节能减排趋势,中央提出了“用10年左右的时间,装配式建筑占新建建筑面积比例达到30%”的目标,这将在人类建筑史上,特别是装配式建筑史上一次史无前例的
随着工业化进程的加快,全球气候的变暖与环境问题的频发,各国倡导降低能源消耗、减少碳排放。物流配送业也是碳排放的主要来源之一,企业在安排货物配送过程中也要考虑环境方面的因素,从车辆调度路径规划方面考虑碳排放的因素。另外随着城市规模的扩大,城市道路的交通拥堵等状况的频发,以及城市的环保要求下,各个城市对载货车辆的配送都出台了许多管控措施,如限号、限时、限区域配送等。企业要在城市各种限行政策下满足各种客
近年来随着社交网络OSN(Online Social Network)的不断兴起,微博平台也日渐成熟。随着大量用户的涌入,恶意营销用户也随之而来。恶意用户将商品信息在社交网络中大肆传播,诱导用户购买以从中获利。其行为严重污染微博社交环境,影响用户体验。如何从用户量巨大的微博平台中识别出恶意营销用户,一直是恶意用户识别领域需要精细化处理的问题。目前该领域的研究中大多采用集成学习算法。使用人工选取的特
随着国际贸易的发展与信息爆炸时代的到来,表单由于其简单直观的特点,在交通物流领域得到了广泛的应用,同时在金融和医疗等领域也变得越来越不可或缺,如物流表单、收据和简历等。随着各行各业的智能化与数字化改革,迫切需要实现多类型表单的自动化抽取,将表单中的信息保存成结构化数据便于留存与检索。以交通物流表单为例,在实际应用中,国际物流表单大多样式复杂且种类繁多,而目前投入应用的表单关键信息抽取算法通常只针对
本文结合太原市轨道交通2号线PPP项目实例研究运营组织优化的策略,研究以太原公共交通控股(集团)有限公司(以下简称:公交公司)和太原中铁轨道交通建设运营有限公司(以下简称:轨交公司)在太原地铁2号线开通后运营组织优化的实际博弈场景为依托,根据场景中轨道交通与常规公交的竞争和合作关系构建了运营优化博弈模型,利用实际运营数据演算模型参数,求解了在实际博弈场景下的Nash均衡解,验证了模型的合理性;利用
随着教育信息化的不断发展,许多学校和教育企业为了更好地管理学生和教师信息,开始使用数字化的教育信息管理系统。然而针对小学生的学生手册,仍以纸质表格的存储形式为主,若将其人工录入至系统中,则需要耗费大量的时间和人力。为了减少时间成本和人力成本,本文设计并实现了一个基于深度学习的学生手册识别系统,实现了学生手册信息的自动录入。本文的学生手册识别系统设计与实现以特定的学生手册为目标。常见的表格定位算法和
目标跟踪是计算机视觉领域的重要研究方向,因其涉及到目标尺度变化,快速运动,背景干扰等实际因素的影响及其任务的特殊性,目标跟踪成为了计算机视觉领域最具挑战性的任务之一。因此,如何借助深度学习设计一个更加精准的跟踪模型成为了当前目标跟踪任务的研究热点。近年来随着深度学习的不断发展,以及深度神经网络所具有的独特优势,为解决目标跟踪任务中遇到的难点问题提供了坚实的基础。本文对目标跟踪任务中遇到的问题进行了
近年来,多智能体系统(MAS)的一致性控制问题受到了工程学、社会科学、数学、物理学等方面学者的广泛关注。相比于单系统而言,多智能体系统由于其智能体间的相互协作,可以被用来解决很多单个的智能体难以完成的任务,更具有实用性。而脉冲控制作为一种特殊的非连续控制手段,具有效率高、维护费用低、可靠性高、鲁棒性好、方便易操作的特点。已经在肿瘤治疗、保密通信技术、生物种群控制、自动驾驶设计、电力系统调节等方面得
路径规划是移动机器人领域的关键问题之一,主要涉及移动机器人在工作空间中,从当前位置运动到目标位置的可行路径搜索。路径规划问题针对的环境可以是静态的,也可以是动态的。当环境中存在动态障碍物时,路径规划算法不仅要找到最优路径,而且要保持对最优路径的跟踪,以足够高的频率实时更新其路径,以保持对周围事件的响应。本文通过对已有的D*lite规划方法的分析,对该方法中的一些不足提出了相应的改进和优化。具体包括
随着扫描测量和计算机技术的不断发展,日常的二维图像测量扫描已经不能满足人们测量的要求,点云数据是三维图像存在的比较常见的形式,相对于二维数据,它能够更加高效存储三维物体详细信息,而激光雷达、Kinect等新型的三维传感器出现,使得点云数据收集会更加的便利,三维点云应用也会越来越广泛。但是目前的点云数据仍具有无序性、稀疏性的特点,并且一些小规模的点云数据集包含的信息及数量有限,所以通过点云数据预处理