【摘 要】
：
近些年,深度学习在计算机视觉、语音识别、自然语言处理等领域取得了令人瞩目的成就。特定的深度学习模型在特定任务取得了成功,这种成功体现在两个方面,一是其热门且应用广泛,二是其泛化性能较传统机器学习方法表现优异。尽管这种基于深度神经网络的模型效果非常好,但其模型复杂度高,缺乏可解释性,缺乏完备有效的模型选择方法,是一个黑盒模型,理论分析和实证研究表明深度学习模型的VC维渐进无穷大、拉德马赫复杂性渐进趋
论文部分内容阅读
近些年,深度学习在计算机视觉、语音识别、自然语言处理等领域取得了令人瞩目的成就。特定的深度学习模型在特定任务取得了成功,这种成功体现在两个方面,一是其热门且应用广泛,二是其泛化性能较传统机器学习方法表现优异。尽管这种基于深度神经网络的模型效果非常好,但其模型复杂度高,缺乏可解释性,缺乏完备有效的模型选择方法,是一个黑盒模型,理论分析和实证研究表明深度学习模型的VC维渐进无穷大、拉德马赫复杂性渐进趋于1,这些分析表明传统的PAC学习在分析深度学习模型时失效,发展新的模型并提出新的泛化误差边界有利于解释深度学习模型并提高其泛化能力。受集成学习启发,本文提出了一种可解释的正则化方法,称为最小化互信息方法（Minimize Mutual Information Method,MMIM）,该方法通过最小化隐藏神经元之间的互信息来最小化神经网络的泛化误差,同时为设计新结构提供了思路。本文在推导神经网络泛化误差边界的基础上给出了更加紧的边界,提出了两步的最小化神经网络泛化误差边界的方法。基于Fashion-MNIST和CIFAR系列数据集,实验验证了MMIM的有效性。实验结果表明,这种正则化方法可以提高模型在验证集上的准确率。基于集成学习的思想,本文将神经网络中的隐藏层神经元看作基学习器,结合提出的泛化误差边界解释了此方法为何取得了更好的效果,并为未来设计正则化方法提出了建议。
其他文献
磁性纳米吸附技术具有吸附效率高,易于磁性回收和可再生的特点,因此受到众多学者的广泛关注。但因其巨大的比表面能,极易发生团聚,吸附位点不能充分利用,导致吸附效率较低。为改善这一缺点,本研究利用阴、阳离子表面活性剂十二烷基硫酸钠（SDS）和氯代十六烷基吡啶（CPC）分别对Fe3O4纳米材料进行改性,制备出两种磁性纳米材料SDS@Fe3O4和CPC@Fe3O4,并对典型阴阳离子染料进行吸附,主要研究内容
当前我国土壤镉污染形势严峻,许多学者针对镉污染土壤的修复进行了大量研究,吸附法是一种有效修复镉污染土壤的方法,但目前大多吸附材料以重金属固化为主,且多为粉末态和细颗粒状,在实际应用中存在难回收问题。因此,需要制备一种兼具吸附性能与机械性能的可回收土壤吸附剂用于土壤镉污染修复。本研究选择玉米淀粉、鱼骨粉和污泥颗粒三种常见生物炭原料与天然沸石粉分别混合,制备得到不同吸附剂,其中天然沸石粉作为吸附剂的机
随着机器学习的迅速发展,卷积神经网络（convolutional neural network,CNN）作为最受欢迎的算法之一,在图像处理、语音识别、数据挖掘等等众多领域得到了广泛的应用。近年来,人工智能物联网（Artificial Intelligence＆Internet of Things,AIo T）的迅速崛起对边缘设备的实时性和智能性提出了越来越高的要求,促使卷积神经网络算法硬件化成为了
时间序列预测是人们组织和利用信息的一种重要手段。预测可以提前获知事物在未来一段时间的发展趋势,并为之后的应用提供参考和指导。随着物联网时代的到来,在智慧交通、智能电网等代表性应用中,人们借助“物联网+”技术能够采集到大量数据,并通过分析数据来得到服务。深度学习方法能够由数据驱动来构建统计模型,并利用模型对数据进行分析。近几年,语言模型Transformer被很多工作迁移到时间序列预测任务中,并有着
蛋白质的稳定供应是保障人民健康和国家安全的重要基础之一,作为传统农业种植生产模式的补充或彻底替代方案,微生物蛋白制造能够通过高时空生产效率、不依赖耕地的车间制造方式,生产供应蛋白质原料.本文描述了发展微生物蛋白的需求,综述了微生物蛋白制造的发展,介绍了主要的生产菌株,并以3种大宗原料类型食品工业与农业副产物、能源化工品、二氧化碳及其衍生富能化合物为主线,阐述了主要的微生物蛋白生产路线,分析了不同生
＜正＞安检法小区是沈阳市和平区南湖街道文安路社区所辖小区之一，始建于2000年，共有居民400余人。2006年，小区遭遇物业弃管，一时间，垃圾随便扔、东西随便放、外人随便进、车辆随便停，盗窃案时有发生，居民怨声载道……为了有效走出治理困境，文安路社区党委创新推出了“党建引领居民参与”的新模式，并通过17年不懈努力，成功破解了安检法小区治理难题，使这个无物业老旧小区重新焕发生机。
目的：探讨抗阻运动加速导管相关性血栓（CRT）溶解再通作用效果，为抗阻运动辅助治疗CRT提供理论依据。方法：144只SD雄性大鼠随机分为CRT对照组、CRT+抗阻运动组、CRT+血红素氧合酶-1（HO-1）激动剂钴原卟啉（COPP）组、CRT+HO-1抑制剂锡原卟啉（SnPP）组，每组36只。构建大鼠CRT模型，置管10天后进行抗阻运动、腹腔注射COPP及SnPP处理，CRT对照组不做处理。干预后
目的 探讨增强CT在儿童肾透明细胞肉瘤（CCSK）与肾母细胞瘤（WT）鉴别诊断中的临床价值。方法 选60例疑似CCSK/WT患儿均进行增强CT、病理学检查，对比2项检验结果，并分析增强CT的检查征象。结果 经病理切片免疫组织化学染色法诊断，CCSK患儿有23例（38.33%），均为单侧发病，左侧17例，右侧6例，瘤体昀大径5.26～15.62cm，未发现转移病灶；WT患儿有37例（61.67%），