【摘 要】
：
近年来,寻找最合适的前馈神经网络（FNN）架构引起了极大的关注。一些研究提出了一些自动的方法来找到一个小而充足的网络结构,无需额外的再培训和修正。正则化项经常被引入学习过程,并且已被证明能有效的提高泛化性能并减小网络尺寸。特别地,Lp正则化在网络训练中用于惩罚过大的权值范数。L1和L1/2正则化是两种最流行的Lp正则化方法。然而,通常Lp正则化主要用于修剪冗余权值。换句话说,L1和L1/2正则化不
论文部分内容阅读
近年来,寻找最合适的前馈神经网络（FNN）架构引起了极大的关注。一些研究提出了一些自动的方法来找到一个小而充足的网络结构,无需额外的再培训和修正。正则化项经常被引入学习过程,并且已被证明能有效的提高泛化性能并减小网络尺寸。特别地,Lp正则化在网络训练中用于惩罚过大的权值范数。L1和L1/2正则化是两种最流行的Lp正则化方法。然而,通常Lp正则化主要用于修剪冗余权值。换句话说,L1和L1/2正则化不能在单元层面改进稀疏性。在本文中,我们考虑上述问题。首先,我们考察了一种Group Lasso正则化方法,直接处理由每个隐层神经元的输出权值向量的范数。作为比较,普通的的Lasso正则化方法只是用于网络的标准误差函数中,单独处理每个权值。数值结果表明,对于每个基准数据集,我们提出的隐层正则化方法比的Lasso正则化方法都能修剪更多的冗余隐层神经元。但是,拉索组正规化可以修剪冗余隐节点,但不能修剪神经网络的幸存隐节点的任何冗余权重。接下来,我们提出了一种组L1/2正则化方法（记为GL1/2）,把从每个隐节点发出的输出权值向量作为一个组,来修剪隐节点。它的优点是不仅可以修剪冗余的隐节点,还可以修剪幸存的隐节点的冗余权重。与L1/2正则化类似,GL1/2的缺点是它涉及非平滑绝对值函数,这导致数值计算中的振荡和收敛分析的困难。作为补救措施,我们提出了一种平滑的L1/2组合方法（SGL1/2）,用一个平滑函数来近似绝对值函数。对一些基准数据集的数值模拟表明,与GL2相比,SGL1/2具有更好的精度,并能在消除更多冗余隐节点的同时,消除幸存隐节点的某些冗余权值。对SGL1/2学习过程我们还证明了收敛定理。
其他文献
石墨烯等二维材料具有较大的比表面积,量子限域效应引起能级分立等优势,引发科研工作者对类石墨烯结构的其他二维原子晶体的研究热潮。与碳同主族的硅、锗、锡元素原子质量较大,相应的二维单质单层自旋轨道耦合作用更强,有利于诱导产生量子自旋霍尔效应。不同于上述二维烯材料的半金属性,单层过渡金属二硫化物（TMD）能隙大小在1～2eV范围内,在场效应晶体管应用方面颇具优势。为实现单层Ⅳ主族单质和TMD材料的工业应
浮式生产储油船（FPSO）与油/气运输船在海上进行旁靠作业时,两者之间会形成远小于船型宽度的狭长缝隙。狭缝内的水体在特定频率波浪作用下会发生剧烈的共振,这种现象被称为窄缝流体共振。类似的流体共振现象还可能发生于钻井船内部的月池结构中。由于窄缝/月池内流体的大幅振荡,使得作用在结构上的波浪力显著增大,严重威胁到结构物和工程作业的安全性。因此如何快速准确地预报流体共振有重要的工程意义。传统势流模型由于
饱和砂土液化是最为典型的地震灾害之一。因此,准确地对液化危害进行评估是岩土工程领域的重要任务之一。地震液化评估中,需要对三个主要的方面进行考虑:1)液化敏感性;2)触发液化的动态载荷的评价;3)液化的影响。前两个在分析描述液化能否发生的液化势方面已经得到了检验。此外,在评估液化破坏效应时,主要是指横向位移,这是进行液化危害评估的最后一个方面。在所有的方法中,基于历史数据或室内试验结果的经验和半经验
作为宽禁带直接带隙半导体,GaN和ZnO在蓝光发光二极管、紫外半导体激光器、半导体照明等光电子器件领域有着广泛的研究与应用。尽管GaN及其相关的Ⅲ族-氮化物光电器件已经实现了产业化,但仍存在一些尚未完全解决的基础科学问题,如紫外光（UVL）带、蓝光（BL）带和黄光（YL）带的起源问题长期悬而未决。ZnO具有和GaN类似的光电子领域应用,但其激子束缚能更大（～60 meV）,且可以通过相对简单的生长
中锰钢第三代汽车钢温成形是制造强度级别为1500 MPa以上汽车结构件的有效技术,具有“三低一高一均衡”,即“低奥氏体化加热温度、低成形温度、低淬火速率”、“高且均衡力学性能”的工艺优势,已成为实现汽车轻量化和安全性提升的重要途径。本学位论文针对中锰钢温成形过程中相变行为尚不明晰、工艺优化尚不全面、力学性能和成形性能缺乏全面评价等亟待解决的关键问题,通过试验与仿真相结合,从微观和宏观角度,开展了中
加工介质对微细电火花加工性能的影响非常显著,在煤油、去离子水等液体介质中加工时,材料去除率很高,但工具电极损耗也很大,严重影响加工精度;在空气射流等气体介质中加工时,工具电极损耗率低,但是由于放电间隙太小,导致加工过程中短路率很高、加工效率低下。针对上述问题,本文提出以大气压冷等离子体射流（APPJ）作为微细电火花加工介质,开展了 APPJ中微细电火花加工的一系列理论研究与实验研究,成功实现了 A
由于负氢离子在引出束能量较高时仍然可以保持很高的中性化效率,基于负氢离子源的中性束注入系统在未来的磁约束核聚变装置中将起到至关重要的作用。相较于传统的热阴极灯丝离子源,大功率低气压射频感性稱合负氢离子源（Negatvie Hydrogen Ion Source,NHIS）具有寿命长、结构简单、无电极污染、维护方便、等离子密度高和引出束流均匀且易控制等一系列优点,已经被选为国际热核聚变实验反应堆（I
针对某橡胶助剂生产企业废水COD浓度高、盐分高、生物毒性大等特点,结合现有处理工艺存在的问题,重点对其预处理工艺进行流程优化,结果表明,对废水排放源头做好资源回收、分类收集、分质有针对性预处理、采用能耗较低的机械蒸汽再压缩技术（MVR）脱盐、结合生化工艺,可使出水COD达到设计要求（<500 mg/L）。
在托卡马克高约束模式下,边界等离子体湍流限制台基区结构和跨磁力线输运。理论上,限制台基区结构的湍流主要是动理学气球模,但是缺乏全局模拟支持这一假设。在低约束模式下,湍流主导的跨磁力线输运对偏滤器靶板处热流宽度影响很大。与之相对,在高约束模式下,湍流对热流宽度的影响有待研究。在边界等离子体研究中,BOUT++双流体和回旋流体程序包被广泛用于边界局域模和湍流输运模拟。因此,本文使用BOUT++双流体和
目前,托卡马克磁约束聚变装置是最有希望实现可控核聚变从而解决能源问题的聚变装置之一。经过近几十年研究和探索,磁约束核聚变研究已经取得很大进展,但是依然存在着许多关键的物理和工程问题需要去解决。其中,高能量粒子（Energetic Particle,EP）物理的研究对目前托卡马克装置稳态运行以及未来装置中燃烧等离子体的预测极其重要,因为高能量粒子不仅可以加热等离子体,而且会激发各种不稳定性,这些不稳