【摘 要】
:
在高维空间中,深度神经网络中常用的优化算法容易陷入鞍点,不易收敛到最小值。随机梯度下降算法作为深度神经网络中广泛使用的优化算法之一,能够通过注入随机扰动有效改善深
论文部分内容阅读
在高维空间中,深度神经网络中常用的优化算法容易陷入鞍点,不易收敛到最小值。随机梯度下降算法作为深度神经网络中广泛使用的优化算法之一,能够通过注入随机扰动有效改善深度神经网络的性能。由于从批量输入样本上提取的梯度可信度不同,需要对随机梯度下降中的随机扰动进行优化分配。因此,本论文提出一个基于信息传输最大化准则的随机梯度下降批量优化方法。首先,本论文从动力学系统角度分析深度神经网络中的随机梯度下降方法,建立网络参数与随机信号之间的郎之万方程,求解该方程得到基于福克-普朗克方程的随机梯度下降的描述与优化,建立注入随机信号功率调节与算法逃离鞍点之间的关系。然后,基于信息传输最大化准则均衡各类样本对随机梯度下降的扰动,实现随机扰动的优化分配,利用注水分配方法分配随机信号功率,提高对功率低的样本的关注度,降低对功率高的样本的关注度,从而改善网络的优化性能。最后,为了验证本论文方法的有效性,在三个深度神经网络上进行实验。实验结果显示,本论文方法能够有效提升分类效果。
其他文献
MicroRNA(miRNA)和long non-coding RNA(lncRNA)是两种拥有不同转录本长度的非编码RNA。研究发现,miRNAs和lncRNAs都在人类许多生物学过程中扮演着重要角色,它们的失调可能导
随着现代计算机网络和人工智能等智能控制技术领域的快速推进和发展,智能体控制技术已经逐渐成为了热点研究问题,并在各界得到广泛应用。多智能体系统控制作为智能体控制技术
本文是为箭载测试测量系统设计外系统等效器,箭载测量系统能够监测飞行器的各个状态与参数,而外系统等效器在计算机的命令下为其提供所需的模拟信号、数字信号及串行总线信号
本研究对甘肃省2014-2015年种植的172份大豆(栽培品种与地方品种各86份)的主要品质指标异粗蛋白含量和粗脂肪含量进行了检测分析。利用响应面法优化了大豆异黄酮提取过程,并
登机桥部门作为机场运营的关键,主要通过指派桥手完成飞机与登机桥间的对接,为机场的正常运转提供服务。近年来,对于航班量、信息量地急剧增加,乘客更高要求的服务质量以及实
三维人脸识别是目前计算机视觉、图像处理和模式识别领域中的热门研究课题,受到国内外研究学者的广泛关注和深入研究。三维人脸识别相较于传统的二维人脸识别具有诸多优点,可
间歇过程凭借其高附加值和多品种等特点成为当下热门的生产方式,吸引大批国内外的专家对其进行研究。随着工业化水平的不断提高,系统发生故障的可能性大大增加,故障对系统的
无线传感器网络因其在健康与安全监测中取得了广泛的应用而备受关注,特别是在一些具有潜在危险的场所。当监测区域内发生事故,待测物理量如铀尾矿库中的尾砂含有大量放射性核
在数字通信系统中,信息在传输的时候会受到很多因素的干扰,从而导致信息失真。为了减少信息在传输过程中的错误率,需要研究相关技术手段来应对此类问题。纠错编码已经发展多
电磁无损检测是以电磁原理为基础,对特种类设备进行风险评估、缺陷检测的一项无损检测技术。目前主要有漏磁、涡流、金属磁记忆等几种方法,它们各自具有不同的技术优势与技术