【摘 要】
:
深度学习自2014年兴起以来,随着计算机硬件的提升迅速发展,已成功应用于多个领域,特别是计算机视觉方向。然而,深度学习在进一步落地应用时,其可解释性的缺乏及模型规模较大导致所需算力要求较高的问题一度成为其阻碍,故深度学习可解释性的研究及神经网络压缩是热门的研究方向。本文针对卷积神经网络可视化解释方法的不足以及特征层存在的特征冗余问题展开深入研究。主要研究工作如下:首先,提出一种基于信息熵的神经网络
论文部分内容阅读
深度学习自2014年兴起以来,随着计算机硬件的提升迅速发展,已成功应用于多个领域,特别是计算机视觉方向。然而,深度学习在进一步落地应用时,其可解释性的缺乏及模型规模较大导致所需算力要求较高的问题一度成为其阻碍,故深度学习可解释性的研究及神经网络压缩是热门的研究方向。本文针对卷积神经网络可视化解释方法的不足以及特征层存在的特征冗余问题展开深入研究。主要研究工作如下:首先,提出一种基于信息熵的神经网络特征度量方法,对模型的全局特征提取性能进行评估。在不同结构的模型以及同一模型的不同训练程度上进行评估,并在两个基准图像库CIFAR10和ILSVRC2012数据集上开展实验。实验结果表明,所提出特征度量方法与模型的分类性能在统计意义上存在一定的相关性。不同深度的特征层在特征提取方面存在差异性,层次较深的特征层在进行特征特化与整体特征提取的能力要明显优于层次较浅的特征层。更进一步地,实验结合了类激活图方法,从可视化的角度印证了特征度量方法的准确性和有效性,同时对模型的全局特征提取性能的度量也在一定意义上解释了模型性能的优劣。其次,结合所提特征度量方法与模型性能存在相关性且无需标签的特点,提出一种卷积神经网络无标签验证方法,并通过皮尔逊相关系数进一步证明所提无标签验证方法与有标签验证方法之间的相关性。进一步将其应用于医学图像分类。在Deep Lesion数据集上的实验表明,所提方法与有标签验证方法具有强相关性,且通过无标签验证方法可以有效找出最优模型。在验证数据缺乏的情况下,本文方法可以有效代替有标签验证方法。最后,提出一种基于权重注意力机制的通道剪枝算法。根据自注意力机制能有效提取上下文相关信息的特点,将其应用于滤波器剪枝,用于计算滤波器之间的相似性,进一步找出冗余的特征并对其进行剪裁。实验结果表明,所提出的剪枝方法能有效找出冗余的滤波器,在几乎不损失性能的情况下,大幅减少模型的计算量。与目前最先进的方法相比,取得了竞争性的性能。同时,结合可视化方法,进一步验证所提方法可以有效去除冗余特征。
其他文献
棉织物具备优良的柔性、亲肤性和环境友好性,并且来源广泛,如能直接制备成电子器件则可实现与服装的无缝集成,被认为是柔性可穿戴设备的理想基材。然而,棉织物要制备成电子器件,必须要进行导电改性。研究发现,在合适的激光诱导下,棉织物能成功转化为石墨烯,由此生成的棉织物石墨烯具有高电子迁移率、优良稳定性、良好的透气性和图案可编辑性。因此,本文以棉织物石墨烯制备的电极为研究对象,对激光诱导生成中工艺参数优化、
纤维素是自然界中一种存储量丰富、可再生、可生物降解的天然高分子材料。以纤维素为原料制备的纤维素薄膜具有优秀的力学性能、热稳定性、化学稳定性、以及丰富的孔隙结构等优点,已成为膜工程领域研究热点,在包括锂离子电池、污水净化、生物支架、柔性传感和显示以及包装行业等多个领域得到广泛应用。作为多种功能器件的重要组成部分,纤维素薄膜的多尺度结构是影响其各项性能的重要因素,因此,针对纤维素薄膜进行多尺度结构建模
近年来,随着城市人口的不断增加,“平安中国”和“智慧城市”建设进程的加速,海量的监控摄像头已遍布在城市的各个角落,共同组成了中国天网系统,对视频的智能化分析技术提出了越来越多的挑战。当前,利用深度学习解决传统监控视频分析中的一系列难题已成为安防领域里的研究热点之一。其中,监控视频中人体异常行为检测技术是智能视频监控系统中的重要组成部分,对于快速检测人体异常行为,维护公共安全以及提升人民群众的安全感
本文从发生学的角度,以郑正秋为中心考察早期中国电影的演进。郑正秋的电影“用人道主义为本,对于人生诸问题,加以记录研究”,以人为本、幼者本位、良心主义是郑正秋电影创作的生命线。电影“必须含有创造人生的能力”,这是郑正秋赋予早期中国电影的“初心”和“良知”,也是中国电影生生不息的文化动力。
海洋科幻电影有着科幻类型电影的总体特征,但因其依托于神秘海洋背景所生成的独特意象而显示出异于传统科幻类型电影的诸多特质。空间意象是海洋科幻电影最为典型的景观图谱,从早期的文学改编到基于科技发展的想象。海洋科幻电影不断呈现出迭代更新的意象指征,与文学作品、社会事件、科学技术形成互文性表达。海洋科幻电影的危机叙事依托于打破既有秩序的危机主体、不同的危机意象共同呈现海洋科幻电影的时空失序。生物科技、人工
高校承担着为大学生提供就业指导服务的重任,就业指导服务质量的高低,直接影响学生的职业生涯规划能力与就业发展能力,决定着高校毕业生就业率,乃至高校的发展进程。所以说,高校要重视大学生就业指导服务工作的开展,善于反思工作中存在的问题,结合实际情况进行改正,同时注重就业指导服务的改革创新,更好地满足大学生的发展需求,使其在就业指导服务的助力下顺利就业。本文对大学生就业指导服务质量进行研究。
可见光通信是一种以LED光源发出的可见光线为信息载体、以光照范围内的自由空间为传输介质的无线通信技术,具有绿色环保、设施泛在、保密性好、频谱资源充足等优点。但由于可见光通信需要同时满足通信与照明的要求,需对其发送信号进行一定的调光处理。数字调光方法的主要思路是对其传输的数字信号的占空比进行调整,达到“0”、“1”元素的均衡分布,对比进行限幅等操作的模拟调光技术而言,前者不会存在色度偏移而影响照明质
当代神经科学对人如何进行审美体验已有诸多研究成果,并形成了从神经学视角理解审美体验的理论框架。研究神经美学视角下的电影审美体验,对我国数字领域文化发展与创新具有重要意义。本文以欧美电影为文本,结合神经科学研究成果以及海德格尔、德勒兹等学者的哲学理论,形成了由意蕴-感知、情感-评估、神经-影像三方面构成的电影审美体验理论框架。该框架首先指出因为大脑接收信息、处理信息机制带来了我们电影审美偏好观念的流
随着科学技术的快速发展,应用于人机交互界面、智能机器人、生物医疗等领域的可穿戴柔性压力传感器不断涌现,但不同应用场景下传感器性能需求的差异对传感器性能的可调控性提出了更高要求。本文基于砂纸转印工艺可调控性高、操作便捷、成本低廉、可大面积应用等优点,以粗糙表面离子电容式柔性压力传感器为研究对象,构建了针对此类传感器的性能预测模型,探究了不同目数组合搭配、有无支撑结构、支撑结构材质和厚度对传感器性能的
锂离子电池由于其高能量密度、高可靠性、高储能效率而被广泛应用于电动汽车和储能系统中。储能系统的功率密度受电池温度的限制,当电池以高倍率电流充放电时电池温度会急剧升高,损害电池性能和寿命,电池适宜的工作温度为15~35℃,电池组最大温差应小于5℃。液冷系统是锂离子电池热管理未来的发展方向,本文设计并制造了面向锂离子电池热管理的吹胀式液冷板,并通过数值仿真和实验分析研究其传热性能和流动特性,主要研究内