基于集成深度学习的半监督算法研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:lovewxb1982
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,将深度学习技术应用于半监督学习(semi-supervised learning,SSL)的研究掀起了一阵热潮。半监督学习是一种结合有监督信息样本与无监督信息样本的模型训练提升算法,该算法更适合于实际应用场景。在这些场景中,未标记的数据易于获取并且随时可用,而数据的标定工作成本高昂且耗时。SSL能够充分利用未标记数据构建性能更好的分类器,适用于标记训练数据量不足的情况。本文主要研究深度学习和集成学习在半监督学习领域上的应用,具体研究内容如下:(1)针对现有的半监督算法在小样本情况时对神经网络模型泛化能力提升较弱的问题,首先在标准半监督数据集CIFAR-10上完成了三组小样本的神经网络训练,通过对实验结果的分析,提出了一种集成神经网络的半监督学习算法。该算法通过简化单个网络的学习任务来提升单模型的性能,并将多个单模型输出结果有机的结合,共同完成样本筛选过程。算法分为训练阶段和标注阶段两个环节。在训练阶段,每两类之间都训练一个三分类模型,第三类为随机采样的背景类(背景类通过不属于这两类的其他样本采样得到),根据模型的分类类别将输出结果组合成类别筛选器;在标记阶段时,类别筛选器根据模型在验证集的表现对输出加权得到样本的类别置信度,筛选出置信度满足互斥规则的样本,保留的样本与同类别有标注的样本加权融合生成新样本,通过两个阶段的反复迭代来提升网络的表现。将该算法的实验结果与其他半监督算法进行比较,提出的集成半监督算法在不同的半监督学习测试条件的结果都得到了提升,错误率下降了1%~2%。(2)针对基于一致性损失的Temporal ensembling算法在实际应用场景中难落地的问题,提出了一种改进方案。主要包含两方面的改进:原算法在训练初期主要依赖少量的有监督样本,有效样本的数量成为限制模型性能的一个重要难题,本文提出了一种基于无监督信息样本的旋转角度预测的自监督预训练方法,使用该方法在无监督样本上预先训练并迁移网络权重至后续任务,提升了训练初期网络的表现;针对原算法损失函数存在无法准确跟踪网络当前性能的缺点,提出了一种改进的损失函数权重值计算方法,引入周期范围内的交叉熵损失项平均梯度值作为一致性损失的权重值,提升了模型训练的鲁棒性。在小样本量的有监督数据集上,改进的算法的分类效果比原算法有了较大的提升,分类错误率降低了2%~20%。(3)最后,总结了本文的主要研究内容,并对下一步研究工作进行了展望。
其他文献
‘杨氏金红50号’是于1999年以‘红阳’为母本、中华雄性13号为父本杂交选育而成的猕猴桃新品种。2015年从江苏省扬州市引进该品种在河南省西峡县和嵩县进行栽培,经5年观察结果表明,‘杨氏金红50号’结果早,果实圆柱形,整齐、美观,果皮棕黄色,光滑无毛,平均单果重90 g,最大单果重150 g,果肉黄色、红心,可溶性固形物含量19.2%,总糖含量13.18%,总酸含量0.86%,维生素C含量131
2021年11月2日,《中共中央国务院关于深入打好污染防治攻坚战的意见》(以下简称《意见》)印发实施,这为未来一段时期持续改善生态环境质量、建设美丽中国指明了方向、提供了依据,是环保产业发展的纲领性文件,为环保产业发展带来重大时代机遇。
期刊
进入21世纪,媒介发生千年未有之巨变,媒介变革对文化产生了深刻的影响,特别是给民族文化对外传播带来了前所未有的机遇。如何适应新形势、新要求,探索民族地区文化改革发展的新路径,如何推动草原文化"走出去",提升草原文化的传播力和影响力,需要我们从媒体变革和文化建设两个维度进行综合思考,需要我们抓住草原文化转型发展这个核心,把握媒体变革这个时代机遇,脚踏实地、改革创新,不断推动民族文化建设向更高层次发展
近年来,中国综合国力及国际影响力显著提升为汉语国际传播提供了坚实的动力,在这样的双重驱动下,一股"汉语热潮"袭向全球,为汉语言文化的发展传播提供了"天时、地利、人和"的环境。相对于汉语传播者的我们,更应该抓住这样前所未有的历史机遇,从"充实汉语国际传播的物质基础,提高传播层次"、"扩大国际传播影响力,"促进新媒体与文化传播进一步融合、"重视汉语的国内外需求驱动"、等三个方面推动汉语国际教育。同时,
由an+2=pan+1+qan+r(p,q,r是与n无关的常数,a1,a2是已知数)确定的二阶递归数列{a}n的各项容易用递推法求出,但有时把其中的一类等价变形为分式型二阶递归数列(见定理1)就不容易用递推法求出其各项了.如果读者能发现它们之间的联系,就可以解决后面这个困难的问题了.
期刊
报纸
中国股票市场经过近三十年的发展,制度体系和市场结构不断完善。然而,新股发行市场上的价格畸形的问题仍比较严重,新股抑价率过高、分布不均匀等问题依然存在。经济学家普遍认为,导致股票市场出现IPO抑价现象的主要原因是信息不对称问题,而地理位置对信息不对称的影响是极其明显的。因此,研究地理位置对与IPO抑价之间存在关系的影响具有重要的理论与现实意义。研究论文通过构建中国城市金融网络通量数据,研究地理位置对
开发和利用林业生物质能源已经成为优化我国能源结构和应对全球气候变化的重要举措之一。在全面总结了我国林业生物质能源产业资源现状的基础之上,系统梳理了我国林业生物质能源政策演进及其特点,如,我国林业生物质能源产业的发展始终坚持“不与粮争地、不与人争粮”的基本原则,以不同阶段国家发展需求对政策目标进行适时调整等。针对当前我国林业生物质能源发展过程中存在的相关法律法规条例缺乏针对性,政府示范资金获取门槛高
语文作文是学生语文能力和语文素养的一个重要体现,小学语文作文教学在语文学科教学当中,占有非常重要的地位。在语文作文的学习当中,学生不仅能够培养自身的表达能力,思维能力,以及一定的艺术鉴赏能力,而且在进行语文作文的写作当中,也能够启发学生观察生活,在生活当中汲取积极正面的能量,长此以往,就能引导学生用发现的眼睛来观察生活,只有教会学生发现美的能力,学生才能够在日后的成长过程当中,不断在周围的环境当中
合成孔径雷达(SAR)图像在军事和民用领域有着重要的应用。然而随着SAR成像能力的提升,SAR成像场景越来越大导致舰船目标检测存在两个难点:一是舰船目标在整幅图像中所占的比例极小,很难与周围背景分开。并且由于陆地区域的影响,可能会产生许多误报。由于大场景SAR图像中的大部分区域都被视为背景和杂波,并且舰船目标分布不均,很多区域并不含有舰船目标;二是近岸区域舰船目标通常密集排列,目标之间难以区分。而