一种深度生成模型的超参数自适应优化法

来源 :实验室研究与探索 | 被引量 : 0次 | 上传用户:panjintao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度生成模型在非监督特征提取上有着优异的性能,在人工智能的很多领域取得巨大成功。无论在科学实验还是实际应用中,为深度生成模型设置合适的超参数始终是一大难题。传统超参数优化大多基于领域专家的经验或基于黑盒的贝叶斯优化策略。深度生成模型的超参数众多且训练所需计算资源大,传统办法无法胜任对其进行高效优化。提出一种基于神经元稀疏度的超参数自适应优化方法。该方法根据模型在逐层训练过程中神经元激活的稀疏度,利用高斯过程实时预测最佳超参数组合,将其应用到下一迭代中。实验结果显示该方法不仅明显提升深度生成模型的性能,在效
其他文献
<正> 我国茶业体制改革四年来实践表明,成效甚著,但问题突出。主要表现在把竞争机制引入产销体系,基本解决了产销矛盾,疏通了流通渠道,全国茶叶产量、产值及产茶者收入等均有
<正> 可曲挠橡胶软接头如图所示,是泵与风机、压缩机等与其连结管道间的隔振器件,俗称避震喉。经测定:合理组装一套橡胶软接头可降低噪音15~25分贝,是治理噪声和振动的器件。
目的:调查教育、医疗和"其他"从业系统中心理咨询与治疗从业者的理论取向。方法:采用多级分层方便抽样,在中国内地6个行政区选取从事心理咨询与治疗工作的从业者1232名,包括
立德树人是教育发展的根本任务。山东省临沂市蒙阴县桃墟镇中心学校自2016年9月成立以来,始终贯彻落实立德树人根本任务,结合自身的特点与优势,深入挖掘传统文化底蕴,努力提升学
报纸
测定了两种植物源杀虫剂印楝素、藜芦碱和对照杀虫剂高效氯氟氰菊酯在不同使用量下处理Heterorhabditis indica LN2,H.indica 212-2,Steinernema carpocapsae All和S.pakista
The present thesis attempts to propose a theoretical framework of coherence and to study its implication in consecutive interpretation (CI) so as to identify co
在进入全球化时代、民族文化被西方文化大面积覆盖的时候,对本土性的倡导具有特别重要的意义,甚至可以说,本土性是一种比现代性更重要、也更切时的文学品格。至少,本土性可以与现
报纸
针对常见选煤方法存在成本高、自然资源消耗大、环境污染严重,X射线选煤法对于不同厚度的煤和矸石容易出现识别错误等问题,设计了一种基于X射线和光纤传感器的煤与矸石分选系
本文将英语“词重音”与汉语“轻声”放在韵律音系学中进行韵律分析对比从而得出英汉语言的弱式共性: 1.从对比项中析出了共同对比项——英汉语音音系系统中可区分词性和词
<正>我国近期启动的青海省三江源自然保护区生态保护和建设二期工程总投资达160亿余元,比一期工程增加一倍还多,以更高水平、更高层次推进保护区建设工作。目前,三江源一期工