深度神经网络形式化验证算法Reluplex优化研究

来源 :天津理工大学 | 被引量 : 0次 | 上传用户:szhg5583
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
形式化验证是采用数学语言来论证一个硬件系统或软件系统是否在理论上能正常运作的方法。而对深度神经网络进行验证测试,能够帮助检测和改进神经网络的鲁棒性、安全性等综合性能,从而使神经网络在工业、交通、医学等领域的应用更为安全可靠和高效,这就需要利用基于形式化验证的方法,对现有的神经网络验证算法进行优化改进。Reluplex是现有的验证深度神经网络的算法之一,但它仍有许多缺陷和不足之处,例如仅限于能验证基于Relu激活函数的神经网络、有相当多的超时点无法验证、所耗时间和资源过多等等。本设计对Reluplex算法进行一系列改造和优化,以提高其运作效率并扩展其的验证功能。先是使之能验证Elu激活函数,随后再对整个算法加入多线程并行法、紧致化上下界和冲突分析以撤销拆分等优化措施,以节省整个算法的运行时间和至少攻克一部分超时点。这些优化既针对测试基于Relu激活函数的神经网络,也针对测试基于Elu激活函数的神经网络,从而分别进行对比分析,以验收优化效果。最后,获取了Relu激活函数、Elu激活函数分别在优化前和优化后下测试得到的总共四组实验数据。通过对比,可以看出在采用了优化措施后,不论是对Relu激活函数的验证还是对Elu激活函数的验证都确实提高了运算速度并解决了一些原算法下的超时测试点。还可以看出Elu激活函数下检验速度相对快于Relu激活函数,因为它比Relu节省神经网络的训练时间还能够增加相应的精确程度。这些能有助于以后研究深度神经网络的验证和优化。
其他文献
第一部分IGF1、IGF1R和BCL2在人颞下颌关节髁突肥大软骨中的表达目的:胰岛素样生长因子1(Insulin-like growth factor-1,IGF1)作为一种关键的增殖诱导剂,通过胰岛素样生长因子1的受体(Insulin-like growth factor-1 receptor,IGF1R)增强细胞的增殖能力。B细胞CLL/淋巴瘤2(BCL2)是其家族中的主要抗凋亡因子,可表达于
学位
随着海洋资源的开采逐渐由浅海向深海区域发展,深海采油装备所处的环境也越来越苛刻,对此类装备用钢的要求也越来越高。其中,海底井口头是海洋工程装备的关键部件,此类部件我国还未实现国产化,基本依赖进口。为此,本文自主设计制备了一种微合金化4140钢,通过Gleeble热压缩模拟实验分析其热变形过程;基于正交实验设计确定了最优热处理工艺;评价了实验钢在不同腐蚀介质中的耐腐蚀性能,并检测了实验钢在H2S环境
学位
大力发展光伏、风电等可再生能源对缓解未来能源紧张局势具有重要的战略意义。光伏并网方式分为集中式与分布式两种。集中式光伏电站容量大建设成本高,存在远距离输电损耗较大的问题。且囿于储能技术短期内难以突破,大规模光伏电站存在严重的弃光现象。就地消纳的分布式光伏(Distributed Photovoltaic,DPV)是未来光伏产业的发展重心。由于直流配电方式天然地对DPV等直流型电源具有较好的适应性,
学位
背景:肺癌是全世界最常见的恶性肿瘤,并且是癌症相关死亡的首要原因,超过85%的肺癌患者为非小细胞肺癌(non-small cell lung cancer,NSCLC),其5年生存率低至15.9%,在过去几十年中仅仅略有改善。随着新一代的测序技术(nextgeneration sequencing,NGS)、多基因肺癌小鼠模型、人类肿瘤数据库的建立等一大批技术的进步,我们对肺癌认识已经从组织病理学
学位
在全球呼吁减少温室气体排放的环境下,我国提出了“双碳”目标。我国太阳能资源丰富,光伏发电具有能源质量高、无污染排放等优点,对完成双碳目标有着重要的价值和意义,而最大功率点跟踪控制(MPPT)是光伏发电技术的重点之一。随着光伏发电技术的蓬勃发展,最大功率点跟踪技术在提升光伏效率、减少发电成本等方面显得尤为重要。本文主要围绕光伏发电实现最大功率点跟踪和控制方法展开研究。主要内容如下:1.阐述了太阳能光
学位
近年来,由于有机小分子荧光探针表现出检测限较低、简单易合成、反应时间迅速、可实现专一性检测、发光性能优异以及生物成像效果较好等优点,得到了科研人员的广泛关注。目前,荧光探针已经广泛应用于有毒有害气体检测,生物小分子检测,环境中重金属离子检测等方面。开发新型检测性能优异的有机小分子荧光探针依然具有重要的意义。本文选择1,1′-联二萘酚为骨架,使用有机化学合成方法,制备了一系列1,1′-联二萘酚衍生物
学位
生猪产业作为畜牧业经济中的支柱产业,同时猪肉也是我国居民肉类消费的重要来源,其健康平稳发展是大量农民经济收入稳定的前提,在避免养殖户大量亏损下还可以保证猪肉价格的平稳。东北作为我国生猪养殖地区的四大主产区之一,被列为发展潜力区,从生猪出栏规模来看,东北地区仍处于四大主产区末位,还有很大的提升空间,吉林省作为东北地区生猪养殖地的代表,从近十年的存栏量和出栏量来看,仅占全国的2%,且存出栏量、出现了幅
学位
为建设服务型政府,推进国家治理体系和治理能力现代化,国务院对行政审批工作给予高度关注,持续深化改革行政审批体制,推进标准化行政审批建设。国家外汇管理局响应国务院要求,出台系列政策法规,上线“政务服务网上办理”系统,外汇行政审批服务取得很大进步。但基于外汇管理自身的行业特性,外汇行政许可事项存在业务复杂、政策性强等典型特点,目前四川省外汇行政审批未进驻地方政务大厅集中办理,资本项目和国际收支行政审批
学位
随着新媒体技术的更新迭代,新媒体传播在人们日常生活中的地位尤为突显。当前,无论是民俗文化保护还是传承都发生了巨大的变化,期间新媒体融合传播则起到了不可替代的重要作用。同时,信息技术的迅速发展为民俗文化的新媒体传播与弘扬开辟了新路,使民俗文化以更加立体化的形式得以呈现。在此过程中,如何让新媒体的自身优势对民俗文化传承发挥出巨大的促进作用,将是现今民俗文化传播发展中亟待解决的课题。本文从民俗文化传承的
学位
软件项目开发的过程中,由于软件故障或新功能需求,开发人员会对源文件不断地修改,并将这些修改提交到版本控制系统。通常,一次提交包括源文件的增加、删除和修改,这些信息被保存在版本控制系统中。软件项目源文件之间的引用调用数量可视为源文件间依赖的强度,软件开发的提交信息中源文件被同时修改的次数视为其被同时修改的频度。此次研究证实了源文件依赖关系的强度和它们的同时修改的频度具有一致性。在发现源文件间的两种关
学位