支持向量机参数选择及训练算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:s3100401
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于数据的机器学习是现代智能技术中的重要方面。支持向量机(SVM)是近年发展起来的一种基于统计学习理论(SLT)处理小样本学习问题的算法,它采用结构风险最小化原理,解决了过学习、非线性、维数灾、局部极小点等问题,成为目前最普遍使用的机器学习算法。本文对支持向量机中的参数选择、增量学习、多类分类、在线训练等多个问题的模型、算法及其在证券投资决策中的应用进行了研究和探讨。主要工作如下: 1、提出了一种改进的免疫网络算法。针对标准免疫网络在函数寻优过程中存在的问题,提出了基于“年龄”的搜索半径策略,以增强局部搜索能力;改进了网络的扩展策略,以兼顾样本多样性与计算效率;改进了网络收缩时的保留策略,防止最优解的退化,消除了原算法在寻优过程后期最优解性能的波动现象。数值实验表明,与原算法相比,改进后的算法在找到全局最优解的比例和效率方面有非常明显的提高。 2、将SVM预测精度看作是一个关于模型参数的不连续的多极值函数,基于上述改进的免疫网络算法,对支持向量机的模型参数选择问题进行了研究,将免疫网络算法与支持向量机相结合形成一个AIN-SVM算法。分别对分类和回归数据集进行了测试,结果表明该方法能够更快速地在更大的空间内进行有效搜索,与传统的交叉验证方法相比,在搜索速度与稀疏性上具有较大的优势。 3、针对最小二乘支持向量机(LS-SVM)的计算特点,提出了快速的递增学习过程和递减学习过程。通过让训练样本以序列输入方式替代批量输入方式,交替地对样本进行递增训练和递减训练,并迭代训练多次,得到了迭代增量LS-SVM训练算法。通过对多个UCI和Statlog中数据集的测试表明,该算法与现有的采用迭代裁剪方法的稀疏近似LS-SVM算法相比,在识别精度相当的情况下,在训练效率和稀疏性方面都具有明显的优势,有效地实现了LS-SVM的稀疏性。 4、针对传统多类分类方法中存在的“不可识别区域”问题,提出了“1-b-1,,的方法,该方法消除了“不可识别区域”,并有效降低了多个二类分类器的训练运算量。通过对“1-b-1”的进一步改进,提出了自适应二叉树多类分类方法(ABTSVM),该方法利用聚类分析中的类距离和类包含的思想,通过先聚类再分类的方式,解决了“1-b-1”中存在的随机性问题。对多个UCI和Statlog中的多类数据集进行了测试,ABTSVM在识别精度和支持向量数量方面都表现出良好的性能。 5、在(3)中的增量式训练算法的基础上,给出了适合实时系统使用的在线增量稀疏LS-SVR训练算法。通过简化增量训练中的递增学习过程和递减学习过程,进一步提高了训练效率,同时将支持向量数目维持在较低水平、提高了测试速度。通过对两个标准集的测试表明:提出的在线增量稀疏LS-SVR与现有的在线增量算法相比,改善了训练效率、测试速度和预测精度的综合性能。 6、将支持向量机分类方法应用于上市公司的财务风险评价模型及预警研究,将支持向量机回归方法应用于股市指数的预测研究。使用AIN-SVM进行上市公司的财务风险评价模型及预警研究,使用ABTSVM进行上市公司的多类财务风险评价模型研究,与现有的方法相比获得了更好的推广性能;使用在线支持向量机回归算法进行上证180指数预测,有效地拟合金融数据之间的非线性关系,解决了金融数据由于其随机性、非线性、小样本、强噪声而难以预测的问题。
其他文献
近年来随着我国电力工业的迅速发展,输电线路的覆盖面积大大增加,但随之而来的输电线路、绝缘子事故率也明显增多。输电线路、绝缘子在实际工作中受环境影响非常大,比如在大风、雨雪、高温及地震等非正常天气会破坏它们的特性。输电线路的损坏或者特性下降会直接导致电力网络的不稳定甚至损坏,因此提前检测输电线路的缺陷来预防损坏非常重要。传统的检测方式是人工检测,采用固定区间划分任务的方式,即一组检测人员负责某个区段
学位
在纺织、印染、造纸设备中,为了进行连续加工,通常把各个加工单元组合成联合机,各加工单元分别由一台变频器控制。工艺要求加工过程中,保持各单元间线速度成适当关系。此时,单台变
车载GPS定位终端在过去十年内已经成为汽车工业发展的焦点。在欧美国家和日本,车载GPS定位终端在最近几年内得以广泛的应用。车载GPS定位终端是融全球卫星定位技术(GPS)和现
本文针对交通系统复杂性、随机性和难以用精确的数学模型来描述的特点,考虑到模糊控制技术具有不需要建立精确的数学模型,神经网络具有并行计算、分布信息存储以及具备自学习
差压流量计是工业中使用最广泛的一种流量计,广泛应用于石油、天然气、化工等许多领域。内锥流量计是一种新型的差压式流量计,和传统的差压流量计相比具有压力损失小、要求前后直管段短、抗脏污等优点,尤其是在一些特殊的应用场合,如近海油田湿气测量、垃圾焚烧发电、焦炉煤气的测量等,具有明显的优势。由于内锥流量计具有这些特性,因此近几年来成为了国内外的研究热点。同任何一次节流装置一样,必须配套使用高质量的智能流量
在我国,随着信息时代的到来,计算机在各行各业得到了越来越广泛的应用,医院信息系统(Hospital Information System,简称HIS)就是在这样一种情况下发展起来的。通过应用医院信息系
在信息技术飞速发展的今天,越来越多的领域掀起了数字化革命。多媒体通信成为了人们一种新型的重要交流手段,其中包含着大量信息的数字视频发挥着越来越重要的作用,影响着国
氧气转炉炼钢法从1952年出现以来,得到了迅速的发展,目前已成为世界上最主要的炼钢方法之一,其生产过程是一个周期性的升温降碳过程,包含非常复杂的多元多相高温反应,其主要目的是
船舶航向控制实际上应区分为两类控制问题:在航向设定值不变时进行航向保持和在设定航向变化时进行航向跟踪。实际上对这两种控制应该采取不同的控制策略,但为简化起见,通常只用
由于嵌入式系统具有体积小、性能强、功耗低、可靠性高以及面向行业应用的突出特征,目前巳经广泛地应用于军事国防、消费电子、网络通信、工业控制等各个领域。嵌入式系统已成