【摘 要】
：
针对神经网络中ReLU激活函数存在返回值非负及神经元未激活等问题,提出了一种全新的类ReLU激活函数——LeafSpring.LeafSpring既继承了ReLU的优势,又可以返回负值,通用性更强
【机 构】
：
中国科学院沈阳自动化研究所机器人学国家重点实验室,辽宁 沈阳 110016;中国科学院机器人与智能制造创新研究院,辽宁 沈阳 110016;中国科学院大学,北京 100049
论文部分内容阅读
针对神经网络中ReLU激活函数存在返回值非负及神经元未激活等问题,提出了一种全新的类ReLU激活函数——LeafSpring.LeafSpring既继承了ReLU的优势,又可以返回负值,通用性更强.LeafSpring函数的推导及函数性质也会被讨论.该激活函数还引入了刚度系数k,可以通过训练主动调节相邻两层的权重系数.为了减少计算量,LeafSpring可以在一定情况下简化为ReLU或Softplus.为了展现LeafSpring激活函数的性能,还将其与ReLU、Softplus及Sigmoid在4种不同类型的数据集上进行拟合精度对比.对比结果表明,LeafSpring在不同的数据集上均能兼顾拟合精度和收敛速度且在小网格规模可以更快、更准确地拟合复杂非线性函数.
其他文献
近年来,阜阳市妇女儿童医院以教学医院建设为抓手,多途径地与医学院校合作共建教学医院,通过统一认识、转变思想、提高教学意识,健全教学管理制度,完善教学管理体系等策略,极
施工阶段的质量控制是工程项目质量管理的核心,是保证提高工程质量的科学方法,给排水工程是工程项目的重要组成部分,施工阶段的监理是工程项目监理的重点及核心内容.本文主要
寻北仪是一种惯性仪表，它采用惯性工作原理，其作用是在车体静止的情况下，通过寻北测量，给出车体纵轴水平投影的真北方位角和当地的纬度值，用以装定方位、垂直基准仪。寻北仪工作时
近年来,即时学习软测量方法已被广泛用于过程工业中难测参数的在线估计.然而,常规的即时学习软测量方法仅依靠单一的学习配置,忽略了即时学习性能的多样性,导致预测性能不佳.为此,提出了一种基于多模态扰动的集成即时学习软测量建模方法,称为DSS-ELWPLS (Diverse Subspaces and Similarity measures based Ensemble Locally Weighted
本文在深入分析液压支架故障问题的基础上，指出液压系统泄漏是导致支架故障的主要问题，确定了泄漏故障诊断指标、准则和判据，并研制了ＫＢＦ２型泄漏故障诊断仪。有关研究结果和诊断仪器
为提高四旋翼无人机的飞行稳定性和系统的鲁棒性与控制精度,将姿态控制分成两个控制环路,即角度环路与角速率环路,针对姿态角、姿态角速率分别设计PID控制器与鲁棒伺服LQR(RSLQR)控制器组成双闭环回路姿态控制.考虑到四旋翼在飞行过程中受到的外部不确定性扰动和内部模型误差等因素的存在,在姿态角速率环加入一阶线性扩张状态观测器(LESO)来实时观测外扰和内扰并对其进行补偿.通过仿真和实验对比,验证了所
精馏塔是一个多输入多输出的对象。它由多级塔板组成，内在机理复杂，对控制作用响应缓慢，参数间相互关联严重，一般常规控制很难达到理想的控制要求。本文针对系统模型未知情况，结合
粗糙模糊K-means(RFKM)聚类综合利用了粗糙集和模糊集的优势互补,是一种有效的聚类分析算法,但现有的RFKM算法大多只考虑了簇内样本空间分布的模糊度量,忽略了类簇规模的不均
随着网络技术和Internet的广泛应用，尤其是现场总线技术和网络技术、软件技术的大力发展如：Ethernet、OPC、ActiveX、Internet技术、Web技术等，网络安全技术、实时数据库等不断
随着计算机和通信技术的发展,可编程控制器正向着大型化、网络化、专业化等方向发展。作为一种专业化的PLC,由于既具有PLC的易于最终用户使用的特点,又具有嵌入式系统的可以根据用户的需求灵活定制的特点,所以近年来嵌入式PLC在纺织、印制、制药和水利等行业得到了广泛的应用。本文在嵌入式PLC内核的基础上,按照软件工程的要求,采用VC++/MFC作为开发工具,设计并实现了面向终端用户的嵌入式PLC编程软件