基于分治与抽象策略的神经网络形式化验证算法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:smarten
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
得益于科学技术的不断进步以及物理算力的逐步提高,神经网络作为当下人工智能领域的重要一环,已经被越来越多地应用于金融、交通、医疗、消费等各行各业中。但是,目前用于评估神经网络质量的方法依然是基于训练集—测试集的传统软件测试方法,无法保证神经网络的安全性甚至是正确性。再加上对抗攻击技术近些年不断地发展,使得对抗样本可以在只产生微小扰动的情况下肆意更改神经网络的输出,这也给人工智能领域覆上了一层阴霾。因此,神经网络的安全性问题得到了形式化方法领域的关注。形式化验证是一种利用数学手段严格描述系统的性质和行为并确保系统质量的关键技术,该方法可以有效避免传统测试方法的缺点,从而严格地证明神经网络的安全性。但是,由于神经网络不同于传统软件的特殊结构,再加上激活函数向神经网络引入了大量的非线性和非凸特征,这些问题使得神经网络的形式化验证变得十分困难。因此,当前许多已有的神经网络形式化验证算法在面对复杂的大型神经网络时会显得力不从心。本文从基于优化与搜索的神经网络形式化验证算法入手,提出了一种基于分治与抽象策略的神经网络形式化验证算法,以及与之对应的神经网络形式化验证框架。抽象是形式化领域中的一种经典方法,它旨在抛弃原始系统的一些细节从而有效地缩减状态空间,并同时提供对原有性质的形式化保证。为了确保抽象的正确性,本文还使用了一种混合近似编码来提供对激活函数精确编码的最小上近似抽象处理。该算法按照分治的思想不断对优化问题的约束集进行混合抽象编码,同时迭代地执行抽象精细化操作以减小待搜索的状态空间,由于抽象技术可以在原始系统的基础上构造出一个能够对原有的安全属性进行抽象描述的简易系统,因此该算法在面对大型的复杂神经网络验证问题时,避免了直接在最复杂的状态空间中探索,转而搜索一个较简单的状态空间,从而大幅地提高了神经网络的验证效率。本文基于该策略提出的神经网络验证框架也整合了许多可用的先进方法,例如:符号区间传播、符号线性松弛、输入域分割等技术,并给出了完整的实现思路,以指导后续开发真正可用的神经网络验证工具。最后,使用基于该框架实现的神经网络验证工具DAA-Verifier在面向无人机机载防撞系统和公开的手写数字图像识别神经网络上进行了多维度实验,评估了该算法的运行时间、计算效率以及性能提升效果。除此之外,也与国际知名团队开发的神经网络形式化验证工具进行了对比。实验结果证明,基于分治与抽象策略的神经网络形式化验证算法在复杂神经网络的验证问题上有着良好的表现。
其他文献
随着计算机技术的飞速发展,软件开发形式趋于多样化,同时软件的规模和复杂性也持续增长。面对层出不穷的软件质量问题,保证系统的安全性和可信性尤为重要。在此背景下,形式化验证方法作为一种以数学为理论支撑的技术,越来越广泛地应用于各种软、硬件安全特性的验证中,并逐渐成为各领域研究人员保障软件系统正确性和可靠性的重要方法。定理证明是形式化验证的重要手段之一,它基于严格的数学基础进行可靠的验证,在一定程度上弥
学位
当前在电力及电子应用中所普遍采用的功率器件,以传统的硅基功率器件居多。由于硅基功率电子器件工艺技术的日益完善,其特性已趋近于硅材料极限,性能进一步提升存在较大困难,而以宽禁带半导体材料如氮化镓(GaN)、碳化硅(Si C)为基础的新一代功率器件因具有更高的临界击穿电场、更快的开关速度等优点己经成为学界与业界共同的研究热点。AlGaN/GaN HEMT(High Electron Mobility
学位
与单结太阳能电池相比,叠层太阳能电池具有更广的光谱吸收范围,非常有望突破S-Q理论极限,因此吸引了诸多科研工作者的关注,从而开发出了种类繁多的钙钛矿叠层太阳能电池。其中,钙钛矿/钙钛矿叠层太阳能电池具有成本更低、效率更高的优势,其理论极限效率更是达到了42%。基于上述原因,本文主要针对钙钛矿/钙钛矿叠层太阳能电池进行研究探索,首先优化了单结MASn0.5Pb0.5I3太阳能电池的器件性能,并在此基
学位
随着新能源汽车、智慧交通以及自动驾驶技术的不断发展和进步,伴随而来的车内互联线束增多、信息交互频繁等问题都给车载电子技术带来了不小的挑战。CAN(Controller Area Network)总线因其具有实时性高、容错能力强、支持分布式控制以及配置灵活等独特优点,成为了汽车电子领域中使用最多的现场总线,如今更是被广泛应用于工业控制自动化、智慧城市甚至是航空航天等诸多领域。但是有关CAN控制器的研
学位
随着航空技术的高速发展,现代飞机对机载视频显示及监控系统提出了越来越高的要求。对于教练机、新型试验机、大型客机、运输机等特殊种类的飞机,飞机上的观察员需要通过多个外部摄像头实时监控机体外部的情况,并通过机载座舱内部的显示屏综合观察、分析多路摄像头输入的视频信息,掌握飞机的机体状态。因此,飞机上迫切需要具有能够接收和处理多路高清晰度视频信号的系统。但目前的机载视频设备大都是只能实现对多路视频数据的采
学位
现代通信系统对模数转换器的采样率和带宽的要求越来越高,尤其是移动通信和雷达等系统要求模数转换器能够在高速转换的同时保持低功耗和高有效精度。所以具有优异能效比的高速高精度ADC成为了混合信号集成电路领域的研究热点。近年来,通过交替采样实现采样率倍增的时域交织技术被广泛用于实现高速高精度ADC。但是时域交织ADC中必要的输入缓冲器、时钟电路等限制了其能效比,同时通道间增益、时钟和带宽的失配也限制了其性
学位
随着信息化时代的到来,生活中的各行各业都涉及到海量数据的处理。大数据的高效处理离不开异构分布式系统的支持,但无论依赖于何种分布式计算平台,任务调度模型和算法都是提高大数据处理效率的核心和瓶颈。可以说,任务调度策略的优劣直接决定了平台的资源利用率和大数据的处理效率。大数据任务可以归为三类:可分任务、不可分任务和工作流,其中,工作流由于其子任务之间具有数据依赖关系且子任务的执行顺序受到约束,已有研究表
学位
永磁同步电机(Permanent Magnet Synchronous Machine,PMSM)具有转矩大、功率密度大和高效节能等优势,被广泛的应用到电动车、变频空调、变频洗衣机、扫地机器人等各个领域。永磁同步电机控制系统的设计是目前学术界和工业界研究的热点问题,常见的控制方式有恒压频比控制、磁场定向控制(Field Oriented Control,FOC)和直接转矩控制。其中FOC系统具有功
学位
作为第三代半导体材料的代表,碳化硅(Si C)由于具有禁带宽度大、击穿电场高、热导率高等特点,被广泛应用于高功率电子器件领域。而结势垒肖特基(Junction Barrier Schottky,JBS)器件拥有较低的开启电压,更快的恢复时间,更少的开关损耗,较低漏电电流等优点,具有明显优势,已经成为当前功率器件研究热点之一。不断提高的器件参数也对器件的掺杂等关键工艺提出了更高的要求。本文在此背景下
学位
现场总线技术广泛应用于工业自动化领域,是智能设备之间的数据通讯网络,增强了底层设备与控制管理层之间的联系。控制器局域网(CAN)就属于数据现场总线范畴。经过多年的发展,现场总线已经较为成熟,为了朝速率更快成本更低的方向发展,现场总线正在逐步向工业以太网转变。传统现场总线向工业以太网转变时,为了最大化保留原设备,降低更新换代的成本,需要在工业以太网芯片中搭载现场总线接口。目前市场中有大量的CAN总线
学位