基于模糊分割和集成学习的分类和回归算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:echo1108
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
支持向量机(SVM)算法因其良好的小样本学习能力,方便简洁的非线性处理能力,以及收敛过程无局部极小等优点赢得了学术界的广泛关注。它以最小化结构风险为目标,以求解二次规划问题为途径,有效获取训练样本集中的统计信息。然而由于SVM求解过程中所有训练样本被平等对待,而其最优解仅由少数样本决定,导致其对噪声点和异常点非常敏感。本论文以解决噪声点和异常点对SVM的影响为目标,对分类和回归两种学习问题进行了研究。 对于带噪声点和异常点的二分类问题,本论文提出基于模糊分割和集成学习的分类算法。其主要思路是:首先,基于模糊聚类的有效性指标用模糊c均值聚类算法分别对训练集中的正负类样本聚类,自适应得到训练集的最优分割和样本的模糊隶属度;然后,根据聚类结果构造多个子分类问题,用支持向量机求解得多个子分类器;最后,对多个子分类器用集成学习策略对待识别样本进行预测。此算法中模糊聚类根据训练集样本分布特征自适应得到训练集的最优分割和训练样本的模糊隶属度,无需人为干预;集成学习策略利用对待识别样本有用的信息而降低无用信息的影响,有助于提高预测精度。文中给出了两种分类器构造和集成学习策略,数值试验验证了所提算法的有效性。 对于带噪声点和异常点的回归问题,本论文提出基于模糊分割和集成学习的回归算法,其思路与针对分类问题提出的算法类似。首先,对训练集进行聚类;然后,根据聚类结果求解得多个子回归机;最后,用集成学习策略对未知样本进行预测。文中给出两种集成学习策略,数值试验证明此算法在不丢弃训练样本信息的情况下可以降低噪声点和异常点对支持向量机的影响。鉴于基于模糊分割和集成学习的回归算法对降低噪声点和异常点影响的有效性,针对Suykens等人的加权最小二乘支持向量机(WLS-SVM)依赖于预训练结果的问题,基于模糊分割和集成学习,本文提出两种WLS-SVM的改进算法,数值试验验证了改进算法的有效性。
其他文献
投资组合问题是指将可供投资的资金分配于多种证券上,以使不同类型的投资者寻求所能接受的收益和风险相匹配的最适当、最满意的证券组合。由于衍生证券在投资组合中的地位越
随着计算机技术的飞速发展,现实生活中存在的多种形态的大规模数据成指数级增长。如何对海量、稀疏、低秩、含噪声的数据进行快速有效地处理,进而从中提取出对人们有价值的数