基于自监督学习的神经网络性能预测方法研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:reno1126
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机存储和计算能力的提高,深度神经网络被广泛应用于不同领域解决各种具有挑战性的问题。但深度神经网络的性能严重依赖其结构的设计与超参数的选择,这需要专家花费大量的时间和精力反复试错。神经网络架构搜索旨在为搜索空间中的特定学习任务自动搜索最合适的神经网络架构,减少模型设计过程中人工干预。在神经网络架构搜索过程中,使用任何搜索算法都需要评估搜索空间中候选架构的性能,这个评估过程的时间和计算成本都很高。一种有效的方法是使用性能预测器来估计候选架构的性能。一个训练有素的性能预测器可以有效地加快搜索过程,但基于模型的预测器需要架构和准确率对作为训练数据,而获取这些训练数据非常耗时。而且目前大多数的预测器都只考虑提高对相对性能的预测能力或者绝对性能的预测能力,但在一些搜索任务中,绝对性能和相对性能的预测都至关重要。本文针对如何使预测器充分提取神经网络的结构特征且适用于更多的搜索任务问题提出基于图注意力网络的性能预测器,该预测器中注意力机制用来学习出与性能最相关的架构模式,图神经网络则用来提取神经网络这种图结构的结构特征,且添加全局结点来捕获神经网络作为一个计算图的全局特征。还提出一种新的用于训练预测器的损失函数,将排序损失函数与回归损失函数使用权重超参数结合在一起,使预测器既可以直接地准确预测架构性能值,又可以准确预测哪种架构性能更好。针对预测器如何减少带标签的训练数据而不降低其预测能力的问题,提出了一种基于图同构数据增强的自监督学习方法学习带有语义信息的神经网络结构表示。使用对比损失函数迫使同构的神经架构在特征空间中更靠近,不同构的神经架构则距离更远,消除了邻接矩阵中任意索引的影响,减少了带标签数据的使用。最后,在NAS-Bench-101和NAS-Bench-201这两个神经网络架构搜索领域最常用的两个基准数据集上进行了全监督和自监督的性能预测实验,并基于强化学习和贝叶斯优化两种搜索策略进行了搜索实验,实验结果表明本文提出的方法比其他预测器具有更强的预测能力和指导神经网络架构搜索的能力。
其他文献
对《新作文》近三年(2019—2021年)刊载文章的选题方向、载文作者的地区分布等进行一次抽样调查和统计分析,以期对杂志的生存之本、杂志社未来的办刊方向,以及当代小学生的写作状况进行有意义的探讨。
期刊
以硝酸铁、对苯二甲酸为原料,在水热条件下合成MIL-53,在氩气氛围下于700℃碳化得到衍生物Fe3C.将MIL-53及Fe3C分别涂覆在玻碳电极(GCE)表面制备成MIL-53@GCE及Fe3C@GCE复合电极,循环伏安法和交流电化学阻抗测试表明,二者均具有较好的电化学活性,可以对溶液中痕量的CrO■实现定量检测.由于避免了对CrO■还原产物Cr3+的吸附,Fe3C@GCE具备更优异的CrO■检
期刊
学位
学位
学位
针对传统平板缝隙天线带宽窄,以及常用宽带平板缝隙天线腔体分层数多,剖面高的缺点,设计了一种新型低剖面宽带平板缝隙天线。该设计对传统方案的辐射单元与馈电网络均进行了改进,增加了缝隙间距的同时,通过合理增加调配块达到宽带良好匹配的效果。缝隙间距的增大,使馈电网络同层化设计得以实现,从而降减少了天线分层数,降低了天线剖面。对新型平板天线进行了HFSS仿真优化,仿真结果表明,该新型平板缝隙天线相对带宽可达
期刊
为实现对光纤通信链路中故障信号的精准定位,文章设计一种基于BP神经网络的光纤通信故障信号智能诊断方法。采集光纤通信链路异常信号;引进BP神经网络,对信号进行录入,经小波分解后进行初步的故障诊断并做出故障排除决策;引进OTDR光电一体化仪表,将光纤通信链路中的脉冲序列波添加到测试网络中,实现对故障信号的智能诊断。实验结果表明,该文设计方法可以精准定位故障信号在通信链路中的位置。
期刊
循环肿瘤细胞(CTCs)是指自发或者因诊疗操作自原发灶或转移灶脱落进入血液循环系统中的肿瘤细胞。CTCs在血液中数目稀少,且细胞之间存在异质性,使得CTCs的分离检测极其困难。[1]微流控芯片技术可以实现对流体的精确操纵,已广泛用于血液中CTCs的分离和捕获。首先,新颖的芯片结构设计可改变细胞在芯片中的运动模式提高细胞与芯片基质的接触几率从而提高CTCs分离效率;其次,将新型的基底材料与芯片复合,
会议
报纸
本文提出一种新型波导缝隙天线。与传统波导缝隙天线相比,天线具有更宽的频带、更低的剖面,且结构简单、易于加工.同时,设计一个Ku频段2×2及2×4子阵,仿真结果表明,在16%的频带范围内,驻波比小于2,辐射效率大于80%,方向图一致性好。天线性能优异,在需要宽频带、高增益、低剖面天线的设备中将有广阔的应用前景。
会议