基于基尼系数的深度神经网络健壮性提升方法

来源 :南京大学 | 被引量 : 0次 | 上传用户:hjy276756267
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于深度神经网络(DNN)的软件系统已经广泛应用在各种分类任务中。在分类效果极佳的同时,DNN也可能因隐藏的缺陷表现出不正确的行为,从而导致严重的事故和损失。为了确保安全性,与传统软件类似,通常采用测试技术检测出DNN不正确的行为并提高DNN质量。然而,在基于DNN系统的自动化测试中,通常无法直接定义给定输入后正确输出的测试预言。为了获取测试预言信息,通常需要花费昂贵的人力来标记测试数据,这显著地减慢了质量保障的进程。为了缓解这一问题并提升深度神经网络的健壮性,本文提出了一种基于基尼系数的深度神经网络健壮性提升方法。我们从深度神经网络的统计视角出发,将基尼不纯度的思想应用于神经网络分类不确定性度量中,从而把神经网络中测量错误分类概率的问题转换为测量集合纯度的问题。在此基础上,我们提出了Deep Gini,一种基于DNN统计视角的测试优先级排序技术,通过衡量测试用例分类概率的纯度来确定其优先级,从而使我们能够快速识别可能分类错误的测试。通俗来讲,纯度越低,则分类错误的可能性越大,该测试用例的优先级越高。最后,我们标记并利用高优先级的测试数据来提升深度神经网络的健壮性。本文在MNIST、CIFAR-10、Fashion、和SVHN四个流行公开可用数据集上对Deep Gini的有效性、效率和提升DNN健壮性进行评估。同时,我们为每个数据集配备了两个流行的DNN模型。实验结果表明,Deep Gini在测试优先级的有效性和效率上都优于现有基于神经元覆盖的测试排序技术。Deep Gini能够在2秒内对数以万计的测试进行优先级排序,而基于神经元覆盖的优先级排序方法则超过10秒以上。Deep Gini在有效性方面非常接近理论上最好的方法,而基于神经元覆盖的方法有时甚至比随机排序策略更差。同时,Deep Gini优先选择的测试比基于覆盖的方法更能有效地提高DNN的质量。总之,在有效性、效率及DNN健壮性提升方面,Deep Gini优于现有基于神经元覆盖的技术。
其他文献
随着信息时代的到来,规模庞大的信息不断在网络环境下产生。这样大规模、跨领域的信息包含在新产生的文本、图像、视频当中。面对这样大量的数据,通过人工或者传统的算法进行分析处理变得十分困难。如何从繁杂的网络环境中对这些信息进行有效地采集和发现成为了亟需解决的问题。智能化信息发现和采集系统,分为信息采集模块和信息发现模块。信息采集模块通过主题爬虫的方式,仅需要提供目标网页,就能通过计算网页相似度,在网络中
在当前的信息化生活中,在线评论数据能在很大程度上决定人们是否对某一产品进行消费,所以为获取更大的商业利益,商家可能会雇佣专业垃圾评论者撰写垃圾评论捧高自身产品或遍贬低竞争者产品影响消费者的消费选择。因此,为保证正常的用户评论环境,需要研究如何检测垃圾评论。目前主流的方法是通过设计构造特征分类器的方式检测垃圾评论,但这种方法没有对评论特征进行深层次、多角度的挖掘,也没有基于评论特征的特点有针对性的设
物联网概念于2005年提出来以后,从工业4.0到中国制造2025,物联网行业蓬勃发展。中国作为世界上最大的工业国家,将传统工业和物联网进行结合的工业物联网一直是近几年来工业界的研究热点。现如今越来越多传统的工业公司纷纷接入物联网设备,自己研发工业物联网平台,将其采集到的工业现场设备的数据接入相应的平台中进行管理,期待降低对设备的人工管理成本,提高设备寿命和生产效率。针对上海某电子技术有限公司的物联
近年来随着经济、社会的不断发展,市场和企业对于高级技术人才的需求程度不断提升。与此同时,随着教育改革的不断深化,我国对于职业教育的重视程度也日益提升,并将推进职业教育校企合作作为重要内容写入十九大报告中,这在某种程度上推动了高职教育的快速发展。高等职业教育是职业教育的重要组成部分,这种教育更加注重的是技术实用性人才的培养,校企合作职业教育模式应运而生。校企合作不仅能够提高在校生的综合素质,最重要的
随着医疗机构信息化建设的发展,诸多医疗服务流程中产生了海量多源异构医学数据。隐私考虑导致数据孤岛问题在医疗大数据中尤其显著,给现今以数据驱动为主的研究带来一定阻碍和挑战。除此之外,对于诊断等特定医疗服务,高效利用医学数据进行综合分析也是难点之一。针对上述问题,探究利用联邦学习和强化学习技术分别解决数据孤岛和医疗信息融合问题的技术方案。以甲状腺癌的辅助诊断为例,论证该医学数据分析系统的可行性。甲状腺
当前,计算机视觉领域中大量的研究都是基于户外采集的清晰图像开展的,而在实际情形中,许多户外图像采集设备面临着诸多可能性,例如由于天气原因,雾天下采集的图像发生严重退质,清晰度差,这将为进一步的目标识别和检测带来极大的困扰。因此为增强其实用性,通过相关技术手段实现图像去雾十分重要。对于户外监控系统,通过实时视频去雾在有雾天气下将会带来更好的场景识别度,辨别场景中的目标,因此视频实时去雾有重要的现实意
我国正处于经济高速发展的时代,中小企业等民营经济的发展,注入了新的活力。但是,随着众多中小企业的设立,为了其自身的长远发展,首先需要解决的第一个问题便是企业融资。根据我国目前现行法律法规的规定,银行等金融机构具有发放贷款的权力。但是向银行贷款需要符合其严苛的规定,生产经营规模小的民营企业难以符合。同时伴随我国居民生活水平的上升,公众手中握有大量资金想要投资理财。二者的需求相互对应,民间融资的市场便
随着移动互联以及物联网时代的日渐繁荣,用户在商场、校园、医院等室内定位场景对智能领航、定位等服务提出越来越高的要求,受建筑物自身遮挡和结构影响,GPS等室外定位技术难以充分满足用户室内定位需求,因此室内定位技术蓬勃发展,从诞生至今一直是研究和应用的热点领域。本文以WIFI室内定位为主要技术路线,基于位置指纹法,实现了室内定位及其轨迹预测。针对WIFI路由器的布设问题,提出了AP综合选择策略,对待测
在各种常见恶性肿瘤中,肺癌所导致的新患者和新增死亡数量是占据各种罹患肿瘤致死病例中最多的。尽管从2002~2014年肺癌死亡率下降了17%,从1990~2014计算则降低了43%,但仅仅以男性死亡数量计算,全球新增死亡数量159万,占据全部癌症死亡人数的26%。肺癌前期诊断的一个重要依据便是CT医学影像,同时后续诊断和治疗方案中需要用CT引导穿刺区域,以及根据CT标记肺结节轮廓。因而,如果能够结合
行人属性识别具有智能性、精确性、实时性等显著特征,其研究与应用对于商业、安保、城管等领域中行人身份识别、行人检索、个性化服务应用具有重要的现实意义。本文以行人属性识别系统为研究对象,结合视频监控的日益普及亟待智能化的需求,针对银行、商场等拥有行人属性识别潜在应用价值的监控场景,设计并实现了具有深度学习的行人属性识别系统。在对系统的需求和可行性进行分析的基础上,给出了系统的总体架构与组成、工作流程和