【摘 要】
：
二阶优化方法可以加速深度神经网络的训练,但是二阶优化方法巨大的计算成本使其在实际中难以被应用.因此,近些年的研究提出了许多近似二阶优化方法的算法.K-FAC算法提供了一
【基金项目】
：
国家自然科学基金(11871051)
论文部分内容阅读
二阶优化方法可以加速深度神经网络的训练,但是二阶优化方法巨大的计算成本使其在实际中难以被应用.因此,近些年的研究提出了许多近似二阶优化方法的算法.K-FAC算法提供了一种近似自然梯度的有效方法.在K-FAC算法的基础上,结合拟牛顿方法的思想,提出了一种改进的K-FAC算法.在开始的少量迭代中利用KFAC算法计算,在后续迭代中构造秩–1矩阵,通过Sherman-Morrison公式进行计算,大大降低了计算复杂度.实验结果表明,改进的K-FAC算法比K-FAC算法有相似甚至是更好的实验表现.特别的,改进的K-
其他文献
分析了信息抽取中各种页面预处理的方法，提出一种改进方法-基于DOM树结构的过滤器，并设计了三种过滤器。讨论过滤器的原理，给出了具体的实现算法。最后根据过滤器的一个具体应用
为快速准确检测核物质沾染,设计了以工控机为核心、最小可探测活度为37kBq(137Cs源)的检测系统。系统通过红外检测装置实现自动启动,信号经光电倍增管、信号整形、甄别电路、计数器、接口电路送至工控机进行测量处理,具有检测速度快、高压自动调节、检测精度高、声光报警、具体超标部位提示、高可靠性和稳定性等特点。
本文系统的论述了某型火炮战斗车火控系统综合评估设备的开发流程,阐明了火控系统各单机设备精度评估数学模型的建立以及具体的计算方法.在网络报文捕获、数值分析和数理统计
本文针对传统的河流流量测量方法存在精度差、效率低的不足，提出了一种利用数字下变频方法进行数字信号处理的基本思想。设计了一种基于CPLD的ADCP流量测量系统，重点介绍了该流
由四川省政府和中国机械工业联合会主办，德阳市政府承办的2008（中国）重大技术装备发展国际洽谈会将于西博会期问举行，10月26日，由出席2008（中国）重大技术装备发展国际洽谈会代表组成
随着全球一体化的程度不断加深,零售业竞争日益加剧,其与供应链伙伴深化合作并实现协同创新,成为零售企业突破发展困境的重要途径。而零售企业协同创新受到零售业供应链伙伴
溶出是氧化铝厂生产的关键工序,溶出机组的运转率关系到氧化铝生产系统的产量,中铝广西分公司氧化铝厂溶出停汽检修应用标准化管理,检修时间大幅缩短,提高溶出机组运转率。本
提出了一种基于DPCM的从有损到无损的渐进图像压缩和编码格式。算法分为两个阶段。第一个阶段采用基于马尔可夫模型预测的DPCM算法得到低分辨率的近似图像;第二个阶段对量化误差进行渐进传输,使图像被渐进地完善。它通过对量化误差实施小波变换,根据量化误差的局部频率特性,用简单的规则把小波变换后的系数进行分组,最终使得渐进图像传输成为可能。实验结果表明,由于使用了马尔可夫模型和小波变换,可以更快的得到细节
本文阐述了适用于多DSP并行处理系统的调试技术，介绍了通用信号处理平台软件调试环境的总体结构和设计。针对Visual DSP＋＋开发环境设计并实现了源码级调试器，降低了多处理器环境
目的 统计分析某传染病医院实施医药分开综合改革8个月后门诊及住院等指标与近4年数据对比情况,分析传染病医院落实医改的效果,探讨传染病医院建设方向。方法 主要采用数据分