增量式SVM的Web文本分类研究

来源 :江苏大学 | 被引量 : 0次 | 上传用户:qly1029
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本特征向量存在相关性大,维数高的特点。支持向量机对于特征相关性问题不敏感,处理高维度问题具有较大优势。Web上不但存在海量文本信息,而且更新速度很快。经典支持向量机难以有效处理大规模并且实时更新的训练集,因此进行有效的基于支持向量机的Web文本增量学习具有重要的实际价值。   现有的基于支持向量机的增量式Web文本分类算法主要存在下列问题:(1)由于缺乏对整个训练集期望风险的控制,算法易于对训练集产生过量匹配,同时随着增量学习的进行,容易导致支持向量冗余;(2)随着增量训练集的不断加入,可能导致支持向量机的不平衡分类问题;(3)支持向量机主要是针对两类分类问题,然而Web文本分类的实际应用,需要解决多类分类问题,因此如何高效的将两类分类问题推广到多类分类问题成为一个亟待解决的问题。本文贡献如下:   (1)提出了一种基于支持向量机的Web文本的快速增量分类的FVI.SVM算法。将增量训练集中不违反KKT条件的Web文本特征向量剪除,克服了Web文本训练集规模巨大,造成支持向量机训练效率低的缺点。通过计算支持向量集的共享最近邻相似度,去除冗余支持向量,克服了在增量学习过程中,不断加入新文本特征向量而导致增量学习的训练时间消耗加大,分类效率下降的问题。实验结果表明与经典增量支持向量机相比,其分类精度保持在89%,而其分类器的训练和分类效率提高了一倍。   (2)提出了增量式类加权支持向量机的不均衡Web文本分类的PW-SVM算法。增量训练集中,违背KKT条件的文本特征向量将被加入当前训练集。然而,加入新的Web文本特征向量可能导致不平衡分类问题。针对这个问题,提出对于不同类别的Web文本特征向量加以不同类别权值,并通过粒子群算法确定该权值,以克服不同类别的文本特征向量数目差异而对分类产生的不利影响。实验结果表明在不均衡训练集下,PW-SVM算法精度在85.3%-92.1%之间,而采用经典支持向量机的分类精度仅为53.8-62.9%。   (3)提出了基于DBSCAN和决策树的多类Web文本分类的DD-SVM算法。针对二叉树的多类支持向量机的Web文本分类算法中,基于类间距离的二叉树生成算法没有充分考虑类内分布的影响,导致“误差积累”现象,提出了一种兼顾类间距离和类内分布的相似性度量方法,以构建更加合理的二叉树。实验结果表明在多类Web文本分类中,通过该相似度度量方法形成的基于二叉树的多类支持向量机的分类精度提高了10%左右。
其他文献
Java Card是一种可运行Java小应用程序的智能卡,随着全球EMV迁移及国内金卡工程的大力推动,Java Card在金融领域的应用越来越广泛,下一代银行卡全面迁移到Java Card已是箭在
随着我国电力工程的快速发展,电力工程中的招投标活动影响电力行业的发展,电力物资的评标是招投标环节的核心内容。现有的评标方案中,对于小宗物资的评标比较完善,但涉及到大
随着互联网、云计算以及物联网的快速发展,电子商务、电子政务、社交网络等新应用为人们的日常生活和工作带来极大方便,同时也使数据产生的方式越来越多样化,数据量呈爆炸式
三元概念分析(TCA)是一种新颖的数据分析方法,是在形式概念分析(FCA)理论基础上对三维数据或者多维数据处理的有效扩展,也是顺应大数据时代多样性信息数据的应用产物。目前关
深度传感器不仅能获得RGB视频数据还能获得3D深度数据,因而基于RGB-D相机的动作识别的研究越来越多。3D结构信息简化了动作识别的运动内部变化,并且去除了杂乱的背景噪声,因
随着虚拟技术的飞速发展,虚拟植物的研究与应用得到了人们越来越多的关注,其研究成果主要用于农林业和非农林业的发展。花卉建模是植物建模的一个重要分支,目前关于花卉建模
由于生活方式的改变,糖尿病患病群体呈年轻化趋势,已成为严重影响人类健康的疾病。血糖预测是人工胰脏血糖闭环控制的关键,可通过调控胰岛素注射剂量和时间强化糖尿病患者体
近年来,我国沿海赤潮灾害频发且规模不断扩大,导致海洋生态系统失衡恶化,海洋经济损失严重。如何有效地预防和减少赤潮灾害的发生成为我国面临的重要问题,而赤潮检测方法的研究是解决该问题的关键技术之一。鉴于常规海面调查的限制,遥感技术以其覆盖面大、重复性高等特点,被越来越广泛地应用到赤潮检测研究中。赤潮检测问题可视为赤潮与普通海水的分类问题,数据挖掘中的关联分类方法,不仅可以解决分类问题,而且还能体现出各
从列车监控视频中自动、准确、快速地检测与定位列车驾驶员,已成为目前相关管理部门规范驾驶员操作行为,保证列车行驶安全的迫切需求。然而,在实际的监控视频中,由于图像分辨
人类的发展离不开海洋。海洋不仅为人类提供了丰富的食物资源,并且还蕴含着大量未开采的矿产和石油。海洋对气候的调节作用,深刻影响着整个地球的生态系统。人类对海洋的不断认