采用多目标优化的深度学习测试优化方法

来源 :软件学报 | 被引量 : 2次 | 上传用户:jianjie12321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习技术的快速发展,对其质量保障的研究也逐步增多.传感器等技术的迅速发展,使得收集测试数据变得不再困难,但对收集到的数据进行标记却需要花费高昂的代价.已有工作尝试从原始测试集中筛选出一个测试子集以降低标记成本,这些测试子集保证了与原始测试集具有相近的整体准确率(即待测深度学习模型在测试集全体测试输入上的准确率),但却不能保证在其他测试性质上与原始测试集相近.例如,不能充分覆盖原始测试集中各个类别的测试输入.提出了一种基于多目标优化的深度学习测试输入选择方法 DMOS(deep multi-objectiveselection),其首先基于HDBSCAN(hierarchicaldensity-basedspatialclusteringofapplicationswith noise)聚类方法初步分析原始测试集的数据分布,然后基于聚类结果的特征设计多个优化目标,接着利用多目标优化求解出合适的选择方案.在8组经典的深度学习测试集和模型上进行了大量实验,结果表明, DMOS方法选出的最佳测试子集(性能最好的Pareto最优解对应的测试子集)不仅能够覆盖原始测试集中更多的测试输入类别,而且对各个类别测试输入的准确率估计非常接近原始测试集.同时,它还能保证在整体准确率以及测试充分性上的估计也接近于原始测试集:对整体准确率估计的平均误差仅为1.081%,比最新方法 PACE(practicalaccuracy estimation)减小了0.845%的误差,提升幅度为43.87%;对各个类别测试输入的准确率估计的平均误差仅为5.547%,比最新方法 PACE减小了2.926%的误差,提升幅度为34.53%;对5种测试充分性度量的平均估计误差仅为8.739%,比最新方法 PACE减小了7.328%的误差,提升幅度为45.61%.
其他文献
<正>用盐度为13、15、19、23、27、31、35、39、43、47、49等多个梯度的海水,对中国龙虾叶状幼体进行盐度耐受力试验。当盐度从31逐渐升高至49或降低至13时,叶状幼体可生存4~6d,成活率为25%~47.5%。在盐度为23~39范围
会议
<正>2013年9月,习近平主席在哈萨克斯坦纳扎尔巴耶夫大学发表演讲,首次提出欧亚各国共建"丝绸之路经济带"的倡议。同年10月,在印度尼西亚召开的亚太经合组织领导人非正式会议期间,习近平主席提出共建"21世纪海上丝绸之路"的构想。"丝绸之路经济带"和"21世纪海上丝绸之路"简称"一带一路"。同年11月,
期刊
在研发乳霜保湿纸施胶过程中,利用变频器主从控制功能,实现从退纸辊到施胶辊和卷取辊的速度控制,利用速度信号连锁气动控制部分,达到施胶辊分合控制。
<正> 本文介绍意大利Bergα公司在饲料厂使用的全流程电脑控制系统。该系统已用于兰州、南昌、合肥三家由Bergα负责建造的饲料厂。该电脑系统具有下列主要功能:A)原料的进料控制;B)浓缩配合饲料生产线粉状及液态调料称重配料和搅拌;C)预混饲料生产线饲料主要成分、活性物质、矿物质的称重配料;D)可编程序逻辑调节器自控加工;E)原料、袋装或散装成
期刊
面对当前世界经济下行压力增加以及新冠肺炎疫情等多方面的影响,汽车产业格局正在经历重新划分的局面。从国内看,近年来自主汽车企业面临的竞争压力也不断加大,豪华车所占据的份额持续上涨,以中低端市场作为主战场的自主品牌所拥有的市场份额却逐渐减少。但目前中国豪华汽车市场,以合资的品牌汽车为主,自主的品牌汽车所占比重很小。在市场消费升级的形势下,加强自主品牌汽车高端化及相应的品牌营销工作已成为当务之急。中国长
测试文档是产品的重要组成部分,与测试数据紧密相关,且有严格的编制要求。针对以往测试文档编写中存在的重复繁琐、灵活性不高、效率低下等问题,运用数据到文本的生成理论,该文提出了一种基于知识提取的测试文档生成方法。该方法首先对原始的测试记录数据进行分析和理解,重点进行电子表格的表头识别和单元格关联关系识别,抽取出表格数据的逻辑关系;再根据规范化的测试本体,转换成规范的知识表达,形成测试知识的结构化表示并
目的:探讨应用中药穴位贴敷联合耳针疗法对产后宫缩痛及子宫复旧的影响。方法:选取2018年12月~2021年3月于我院分娩的50例产妇,采用随机数表法分为参照组和观察组,参照组(n=25)使用缩宫素治疗,观察组(n=25)在参照组基础上使用中药穴位贴敷联合耳针疗法治疗,对比两组宫底高度、恶露量、疼痛情况、产后并发症发生率。结果:两组治疗前宫底高度、恶露量、VAS评分、疼痛发作次数、疼痛持续时间差异无