【摘 要】
:
伴随着计算机算力和互联网数据量不断地增长,深度学习在计算机视觉、自然语言处理、语音识别等多个领域取得了巨大的成功,但缺乏可解释性严重限制了其在现实任务尤其是安全敏感任务中的广泛应用。而统计学习模型具有较好的解释性,计算量小,且相较于深度学习有更高的鲁棒性,但统计学模型在稀疏数据上比如图像识别任务中的性能远远低于深度学习模型,导致使用统计学习模型的人越来越少。当深度学习模型的性能触及瓶颈的时候,深度
【机 构】
:
中国科学院大学(中国科学院计算机科学与技术学院)
【出 处】
:
中国科学院大学(中国科学院计算机科学与技术学院)
论文部分内容阅读
伴随着计算机算力和互联网数据量不断地增长,深度学习在计算机视觉、自然语言处理、语音识别等多个领域取得了巨大的成功,但缺乏可解释性严重限制了其在现实任务尤其是安全敏感任务中的广泛应用。而统计学习模型具有较好的解释性,计算量小,且相较于深度学习有更高的鲁棒性,但统计学模型在稀疏数据上比如图像识别任务中的性能远远低于深度学习模型,导致使用统计学习模型的人越来越少。当深度学习模型的性能触及瓶颈的时候,深度学习可解释问题变得越来越重要,相关研究也越来越多,其中有不少研究借助统计学习模型的可解释性去解释深度学习模型,但这些研究并没有彻底解决深度学习可解释性问题,深度学习可解释性仍然是个开放问题。与其提高深度学习模型的可解释性,为何不反其道而行之,使用深度学习的特性来提高统计学习的性能?本文借鉴深度学习的特性来改进统计学习模型的性能,从而设计出具有深度学习特性的统计学习模型。本文的主要贡献及创新点如下:1.本文选择卷积神经网络中较为重要的四种特性进行研究:1)平移不变性,2)稀疏学习能力,3)特征捕获,4)背景过滤。然后使用统计学习算法去模拟这些特性:使用卷积算法实现平移不变性,通过最近邻算法实现稀疏学习能力,使用聚类算法实现特征的捕获,通过数理统计实现背景的过滤,从而设计出具有深度学习特性的统计学习模型。2.在模型的实现中,通过实验验证了卷积计算能提高相似度算法的准确性;将同类样本中相似的部分定义为图像的特征,并通过聚类算法求解这些特征;计算全体样本的方差并将低于阈值的方差所在位置定义为静态背景,计算同类样本的方差并将高于阈值的方差所在位置定义为随机背景。3.本文使用两个基准数据集MNIST和CIFAR-10对本模型、CNN和K-近邻这三种模型做了对比实验,实验结果表明:我们的模型性能要好于普通的统计学习模型,计算量和鲁棒性优于深度学习模型。然后对模型的可解释性做出分析,并对模型每个步骤的计算结果用图表形式进行了直观的展示。最后研究了模型的超参数对于模型性能影响,并在这些实验的基础上提出了模型的改进空间。
其他文献
目的探讨颅缝早闭症患儿颅骨重塑术后相关并发症的诊治。方法回顾分析2012年1月至2018年1月复旦大学附属儿科医院行各种颅缝早闭手术的颅缝早闭症患儿临床资料。总结分析患儿术后并发症及相关诊治情况。结果共纳入61例患儿,男42例,女19例;矢状缝早闭17例,平均年龄8.2个月(6~48个月);额缝早闭13例,平均年龄13.0个月(6~29个月);单侧冠状缝早闭17例,平均年龄15.2个月(7~48个月);综合征型颅缝早闭14例,平均年龄18.7个月(6~60个月)。61例中共有13例患儿发生15例次并发症,
目的探讨单侧唇裂术后继发鼻畸形的矫正方法。方法选择2017年5月至2019年10月上海玫瑰医疗美容医院收治的单侧唇裂术后继发鼻畸形患者,综合采用唇鼻肌肉张力带重建、鼻中隔偏曲矫正,自体肋软骨鼻尖软骨支架重建及下外侧软骨支撑移植等手术方法治疗唇鼻畸形。结果共纳入单侧唇裂术后继发鼻畸形患者24例,男10例,女14例,年龄17~22岁,平均20岁。患者伤口均一期愈合,无感染、延迟愈合等情况发生,鼻部对称性均得到明显改善。随访3~24个月,与术后即刻相比,均无复发情况,上唇及鼻部形态良好。结论对于唇裂术后继发鼻畸
得益于各国月球轨道器的在轨工作,现已获取了大量可用于摄影测量三维制图的轨道器影像数据。这些传感器在不同时间、不同视角条件下对部分月表进行了重复观测,形成了多重覆盖特性。多视影像相对于单立体影像包含更多的信息量,理论上可得到质量更优的数字高程模型(Digital Elevation Model,DEM),从而更好地支持月球科学研究或月球探测工程任务。由高分辨率DEM提取的坡度值普遍被认为更接近于真实
高精度的城市绿地空间监测对优化城市绿地空间结构、维护城市生态平衡以及开展绿色城市建设具有重要意义。随着我国卫星技术的快速发展,兼具高空间分辨率与宽覆盖特点的遥感影像为城市绿地信息提取等领域提供了重要的数据保障;另一方面,深度学习语义分割模型的飞速发展,也为高分辨率遥感影像城市绿地快速、高精度提取提供了算法支撑。本文选择北京市五环内城市绿地为研究对象,选取多时相的高分2号遥感影像作为数据源,提出一套
城市群是城市化发展到高级阶段的城市组织形态,由特定地域范围内多个城市聚集而成。近几十年来,城市化已成为人类历史中最重要的变化之一,深刻影响着人类社会的发展和自然环境的变迁。夜间灯光遥感在长时间、大尺度的城市化监测中具有广泛的应用。DMSP/OLS(1992-2013)和NPP/VIIRS(2012-至今)获取的夜间灯光信号是全球城市化监测的主流数据源,然而两代夜间灯光数据之间的数据差异阻碍了基于夜
近年来,城郊山区的旅游业高速发展,使其成为城市居民短途郊游的佳选,而城郊景区往往以生态旅游、寺庙为主且依山而建,这类区域往往具有建筑与植被混合分布的特点被称为森林城镇交界域(Wildland–Urban interface,WUI),故密集性的游客活动给其带来巨大的潜在性火灾安全隐患。该区域的火灾安全管理倍受地方政府的关注,但其信息化水平低常导致应急救援时信息获取不及时,错过最佳救援时机,带来巨大
位于丝绸之路经济带帕米尔高原的萨雷兹湖,是世界上已知最大的高原堰塞湖,多年来水位保持着波动上涨的趋势,其坝体崩解导致湖水下泄将会给下游中亚多国人民带来巨大灾难。萨雷兹湖水量变化特征及其驱动因素缺乏具体研究。本文采用Landsat影像、ICEsat及Cryosat-2测高数据、DEM数据开展了萨雷兹湖水资源及流域冰川变化监测研究,结合气象等数据通过多因素相关分析探索了萨雷兹湖水资源变化的驱动因素。主
湖泊水位是水循环和气候变化的重要指示因子。雷达测高技术作为水位观测的替代手段,近年来被广泛应用于湖泊水位监测中,尤其是无水文观测的湖泊或跨国界湖泊。传统脉冲有限雷达高度计由于其脚印点较大,在观测中小型湖泊时容易受到陆地噪声信号的干扰。随着多普勒延迟技术与开环跟踪技术在Cryosat-2、Jason-2/3、Sentinel-3A等新型雷达高度计中的应用,中小型湖泊水位高精度反演成为可能。本文即针对
非洲锰矿资源丰富,储量、资源量排名在世界上均列第一。非洲锰矿成因类型种类多样,有前寒武系条带状铁建造(BIF)型、海相沉积型、陆相(三角洲湖相)沉积型、与岩浆作用有关的热液型锰矿床等,其中以前寒武系条带状铁建造(BIF)型和海相沉积型最为重要,其资源量分别占非洲锰资源量的61% 和35.9%。非洲锰矿资源广泛分布于南非卡普瓦尔克拉通盆地北部边缘、刚果克拉通盆地西北部边缘、西非克拉通盆地边缘及阿特拉
作为信息表达和交流的重要工具,文字被广泛地应用于人们的日常生活和工作中。同时,手写也是每个人在社会中赖以生存的技能。随着计算机的发展和普及,手写文字识别作为一种高级的人机交互方式在近几十年来引起了人们的广泛关注。虽然研究者们在手写识别领域已经取得了大量突破性的进展,但是基于深度学习的手写识别算法仍然有很大的改进空间,因此如何设计更为准确高效的手写识别算法是本文的核心研究内容。另外,随着传感技术的发