双平面支持向量机的优化模型与算法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:byang1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,支持向量机已经成为解决模式分类与回归问题的一种强有力的方法。经典的“最大间隔”支持向量机通过最大化两个不相交的半平面之间的距离来减低泛化误差。基于支持向量机理论,双平面支持向量机作为一种新的机器学习方法得到了广泛的研究。与经典支持向量机中的单个分类超平面不同,双平面支持向量机旨在生成两个非平行的超平面,其中,每一个超平面更接近于两类样本中的一类,并且尽可能地远离另一类。在求解过程中,双平面支持向量机利用一对小规模的二次规划问题代替经典支持向量机中单个大规模二次规划问题,使得计算速度比经典支持向量机快四倍。鉴于双平面支持向量机良好的学习性能,该算法广泛应用于模式识别、数据分类和函数拟合等领域。本文基于双平面支持向量机,结合特权信息学习、域自适应和安全样本筛选等技术,探讨了双平面支持向量机在不同任务中的应用。主要研究工作如下:(1)提出一种新的基于特权信息学习的鲁棒限制性L1范数双平面支持向量机。基于特权信息的学习策略能够充分利用丰富的特权样本实现更好的预测性能。现有的基于支持向量机的特权信息学习方法容易受到噪声和数据中包含的异常值的影响,产生较大的波动。为了解决这一问题,本文经过严格的理论分析,提出了一种新的基于特权信息学习的鲁棒限制性L1范数双平面支持向量机。该方法将鲁棒L1正则化范数引入到双平面上界和下界函数中,使得上界函数尽可能地最大化主特征和特权特征的扰动下界,而下界函数尽可能地最小化主特征和特权特征的扰动上界,从而提升模型的抗干扰能力。此外,由于广泛采用的L2范数会放大异常值的影响,本文采用限制性L1范数正则化距离进一步保证了模型的鲁棒性。实验结果表明,在数据样本含有大量噪声和离群点的情况下,所提出的方法能够取得较好的分类性能。(2)提出一种新的基于特权信息学习的域自适应双平面支持向量机。域自适应策略在于利用源域的有用信息解决目标域任务。由于源域数据集与目标域数据集具有不同的分布,域自适问题主要的挑战在于如何将现有的分类器转换成一个有效的自适应分类器。目前,自适应支持向量机已经能够有效地解决不同域之间的分类问题,但是,通过最小化自适应支持向量机中的凸二次函数不能有效地最小化源域和目标域之间的距离,并且计算复杂度较高。为了解决该问题,本文基于自适应支持向量机,提出自适应双平面支持向量机,通过引入两个较小规模的二次规划问题求解非平行上下界函数用来加快模型求解速度。此外,本文利用特权信息学习范式进一步约束目标函数中的解,提升模型的分类性能。实验结果表明,本文提出的基于特权信息学习的自适应双平面支持向量机的学习方法不仅可以大大提高分类精度,同时也能够节省计算时间。(3)提出一种新的鲁棒双平面支持向量机安全样本筛选方法。相比于经典的支持向量机,双平面支持向量机明显提高了计算速度,但是还存在一些问题。首先,由于双平面支持向量机的合页损失函数是无界的,在噪声环境下,导致模型的泛化性能下降。其次,双平面支持向量机在处理大规模数据方面具有挑战性。针对以上两个问题,本文提出了一种新的鲁棒双平面支持向量机安全样本筛选方法。具体地,由于坡道损失是有界的,本文利用坡道损失代替传统的软间隔双平面支持向量机中的合页损失,引入两个非平行的近端超平面提升对含噪数据和离群数据的抗噪能力。然后在凹凸过程的框架下,结合安全样本筛选规则,删除大部分训练样本,即选择一部分称为支持向量的样本子集,保证在不牺牲分类精度的前提下降低计算量。值得注意的是,本文所提出的方法为双平面支持向量机安全样本筛选规则提供了安全保证。最后在多个标准数据集上验证了所提方法的有效性。(4)提出一种新的多输出参数不敏感双平面支持向量回归机。多元输出回归问题旨在将多元输入特征空间映射到多元输出空间。现阶段,支持向量回归机方法能够有效地解决多输出问题。然而,采用单输出支持向量回归机模型组合的方法通常没有考虑到多输出问题之间的相关性,而其他多输出支持向量回归机易受到噪声的影响,同时具有较高的计算复杂度以及对参数变化较敏感。为了解决以上问题,本文提出一种新的多输出双平面支持向量回归机,利用两个小规模的二次规划问题求解一对非平行上下界函数来确定多输出回归函数,从而提高了学习速度。此外,为了能够处理异方差噪声,基于多输出双平面支持向量回归机模型,引入了一对多输入多输出非平行参数不敏感的上下界函数,构造了多输出参数不敏感双平面支持向量回归机模型。进一步,本文推导了核化的多输出参数不敏感双平面支持向量回归机用来解决非线性问题。最后,在多个多输出数据集上验证了本文所提出的方法具有较快的学习速度和较好的预测性能。
其他文献
目的:总结中医治疗月经后期的临床经验。方法:通过搜集整理现代医家的治疗方案,了解更全面的治疗方法。结果:从月经后期的概念到月经后期的病因病机,从虚、实两方面了解治疗的经验,治疗的方法包括中药、针灸、耳针、刮痧、埋线。结论:中医治疗月经后期方法多样且疗效显著,值得推广。
期刊
随着电镀行业的发展,电镀废水排放造成的污染问题一直困扰着研究者。而针对其中高浓度含铜电镀废水少污染、可回收的目标,开发了单膜双室膜电解法处理并回收铜的新工艺,本实验研究了其运行方式、回收效果与机理并对回收的产物进行表征。在一个电解槽内阴阳两极之间放入一张阴离子交换膜,研究了初始Cu2+浓度、电流密度、pH、极板间距、温度和添加剂等运行参数对铜回收率和能耗的影响。在Cu2+初始浓度50g/L,阴极板
期刊
图像分类是机器学习领域的一项重要研究课题,其关键技术是提取图像的特征表示。但现实图像数据比较复杂,易受到光照变化、遮挡和伪装等因素的影响,因此如何提取有效的图像特征以提高分类性能成为目前的研究难点之一。近几十年来,学者们提出了许多基于矩阵回归的有监督分类模型,但是这些模型仍然存在一定的不足。例如,现有基于核范数的矩阵回归主要存在以下缺陷:1)回归过程中直接使用受损测试样本,影响了识别性能;2)利用
学位
相机的相对位姿估计又称相机的相对运动估计是计算机视觉和机器人领域的基础问题之一。目前基于特征点的相对位姿估计方法存在的问题主要包括:所需采样的匹配点的数量较多导致迭代次数较多,以及难以求解全局最右的相对位姿。考虑到如今的智能手机、便携式平板电脑,汽车的自动驾驶平台,无人机和机器人的传感器系统一般都会配置相机和惯导。利用惯导的加速度数据可以得到重力的方向,从而可以将相机的一个坐标轴,例如y轴和重力方
学位
氧还原反应(ORR)是极为重要的一类电化学反应,是许多新型能源储存与转换器件的重要化学过程,也是一种绿色环保地制备双氧水的方式。ORR可分为二电子和四电子途径,反应过程十分复杂,因此控制ORR过程使其按照预期的反应路径进行、减少副反应是重要的研究方向,而新型高效的复合催化剂的设计、结构调控及机理研究成为研究热点之一。纳米复合材料具有独特的物化性质,在电催化材料领域具有极大的潜力。本文结合不同维度纳
学位
现有文献仅以线路传输功率限制或“热电耦合”约束为单一弃风原因研究电热联合系统的消纳弃风策略,因而仅适用于消纳单种原因产生的弃风。针对这一问题,同时考虑两种弃风原因,研究进一步提高风电消纳的调度策略,提出了一种计及电网线路重构的直流潮流改进算法。在此基础上构建了考虑优化机组组合与线路重构的电热联合系统源网协同调度模型。通过实例仿真,验证了该模型能够根据弃风量大小和弃风原因的不同,通过机组出力优化、机
期刊
基于CMA-MESO模式水平3 km分辨率3 h循环的快速更新同化预报系统,本文建立逐小时的分析预报循环系统,并且通过采用5种尺度叠加的高斯相关模型和引入各向异性的水平相关尺度方案来改进背景误差水平相关结构,同时考察引入全球大尺度信息方案对逐小时循环的分析和预报影响。通过对2020年7月19日华东强对流天气过程的数值模拟表明:(1)逐小时循环吸收了更多的高频观测资料和循环中采用更临近的1 h预报场
期刊
金属材料的应用十分广泛,其质量对实际工程应用具有重大影响。金相检验是通过检测钢铁材料劣化情况来评估钢材质量的重要手段,在对金相显微组织进行分析的过程中,准确的评定钢材金相晶粒度等级是最为关键的任务。传统采用人工对金相的晶粒度等级进行评定的方法存在效率低、易受人员经验影响及结果不具有重复性等缺点。基于数字图像处理的晶界识别方法只能识别出较为清晰金相图像中的简单晶界,对于存在干扰的复杂晶界应用效果较差
学位
放电的多样性和放电现象的复杂性以及随着科学技术的进步不断出现新的放电形式,导致了对气体放电的物理过程分析变得越来越复杂。为了对气体放电进行深入的研究,多采用实验方法展开,但是仅靠实验手段仍无法明晰气体放电的微观机制以及获取全部关键参数。基于数值仿真的气体放电过程研究,可更深入地了解气体放电过程的微观规律,获得实验无法测得的关键参数,重现气体放电的演变过程,日益成为推动气体放电理论发展的一种重要方法
学位
随着经济的迅速发展和人们生活水平的不断提升,旅游已经成为休闲娱乐的重要方式。针对不同旅游场景,用户对旅游推荐系统的需求具有多样性,例如,一些用户希望在线旅游平台提供个性化的旅游套餐服务;一些用户希望推荐的旅游套餐具有可解释性,并同时考虑偏好的动态性;一些用户在陌生的城市旅游,需要制定同时满足时空约束和个性化需求的旅游行程;结伴旅游的用户希望旅游行程满足群组中大部分用户的需求。在以上旅游场景中包含了
学位