论文部分内容阅读
传统监督学习方法需要利用大量有标记的样本进行学习。然而在实际应用中,标记样本的采集和整理工作费时费力,标记样本不足已经成为制约监督学习方法的瓶颈之一。无监督学习虽然不需要标记样本,但是缺乏先验知识的有效引导,模型的准确性难以保证。半监督学习(semi-supervised learning)正是近年来涌现出的一种综合利用标记样本和未标记样本进行学习的理论。目前,半监督学习理论尚处于发展阶段,在结构自适应调节、增量式训练和提升标记样本序列的利用效率等方面仍有待完善。为解决上述问题,本文提出几种基于神经网络的半监督学习方法,力图借助神经网络在结构动态调整、可逆学习以及知识提取与整合等方面的优势提高半监督学习方法的性能。本文的研究可概括为以下三个方面:1)提出半监督贝叶斯ARTMAP(semi-supervised BayesianARTMAP,SSBA)网络,SSBA实现了Bayesian ARTMAP网络与EM算法之间的优势互补。SSBA采用BayesianARTMAP的学习框架,具有根据标记样本和未标记样本的分布状况自适应生成网络节点的能力,可以克服EM算法必须预先设定高斯成分数目的局限。另一方面,SSBA利用EM算法调节网络参数避免了“胜者为王”(即每次只更新获胜节点参数)的硬性调整方式,使得网络能够更加充分地考虑到未标记样本类别归属的不确定性,进而可以有效学习未标记样本中的类别特征信息。仿真实验表明,SSBA的泛化能力明显优于Bayesian ARTMAP网络和EM算法,是性能可靠的静态半监督学习方法。2)提出一种增量式半监督学习方法,命名为三重可逆极端学习机(ternary reversibleextreme learning machine,TRELM)。当前多数半监督学习方法均为静态训练模式,它们的共同特征是重复训练,即算法需要重复学习所有的标记样本和未标记样本多次才能保证精度要求。重复训练导致运算量巨大、半监督学习速度缓慢等问题。本文提出的TRELM将三个可逆极端学习机作为其内部的基学习器,它只需要利用新扩充的样本和新检测出的无效记样本即可完成半监督训练任务,有效避免了重复训练带来的不利影响。仿真实验表明TRELM可以降低半监督学习过程中的重复性运算并且显著提升半监督学习的泛化成绩和训练速度。3)提出一种广义半监督学习系统—基于ARTMAP网络的范例推理(case-basedreasoning,CBR)分类系统,并将其应用于遥感图像序列的分类问题。多数半监督学习方法仅着眼于学习同一时刻的标记样本和未标记样本,缺乏对以前获取的样本序列的挖掘和整合。本文所提分类系统将ARTMAP网络作为知识的提取器,并按照CBR框架进行知识的管理操作,可实现遥感样本数据的合理储备、优化组合和重复利用;在一定程度上拓展了半监督分类方法的样本选择范围,提高了数据序列的利用效率。