论文部分内容阅读
深度神经网络作为机器学习领域的热门研究方向,在训练中容易出现梯度不稳定现象,是制约其发展的重要因素,控制和避免深度神经网络的梯度不稳定现象是深度神经网络的重要研究内容.本文分析了梯度不稳定现象的成因和影响,并综述了目前解决梯度不稳定现象的关键技术和主要方法.
深度神经网络训练中梯度不稳定现象研究综述
【摘 要】
：
深度神经网络作为机器学习领域的热门研究方向,在训练中容易出现梯度不稳定现象,是制约其发展的重要因素,控制和避免深度神经网络的梯度不稳定现象是深度神经网络的重要研究
【机 构】
：
同济大学电子信息与工程学院
【出 处】
：
软件学报
【发表日期】
：
0年期
【基金项目】
：
国家重点基础研究发展计划(973)(2014CB340404);国家自然科学基金(71571136);上海市科委基础研究项目(16JC403000)~~
其他文献
<正>从整体移动通信市场的用户规模占比来看,4G用户数占比依然不足10%,尚未达到最小有效规模;从生命周期模型角度来看,国内4G业务市场也依然停留在"导入期"阶段,未进入"成长
前期物业管理作为物业管理早期介入和日常运作的过渡阶段,它具有非常重要的意义和作用,但是由于该阶段在我国物业管理行业中是一个新的领域,物业服务企业在进行前期物业管理
现代战争对武器装备提出了愈来愈高的数字化与信息化要求。针对现行的装甲车辆三维数字化设计技术规范相对滞后,探讨研究了装甲车辆数字化的相关标准。文中,简单论述了标准规
20世纪90年代初期,泡沫经济崩溃后,日本银行业出现了巨额的不良债权。日本的宏观经济形势迅速恶化,内需不足,资产缩水,物价持续下跌,通货紧缩现象非常严重,不良债权只增不减
沙陀是唐太宗贞观年间见于史书记载的一个西域小民族,从北庭内迁,在唐末逐渐强大。10世纪初,沙陀在中原先后建立了后唐、后晋、后汉三王朝,对中国历史的发展产生了重要影响。
水土流失是全球最大的环境问题,全球有65%的土地存在不同程度的土地退化。世界各大陆地每年损失表土240亿t,过去20年里,全世界丧失的表土面积相当于美国耕地面积的总和,而且,
随着人类科技向海洋的进展，海底边界层成为海洋科学研究的重点区域。沉积物——水界面是生物地球化学循环的主要界面，界面上溶解氧含量与分布的测量对于了解生物扰动的复杂作用