基于不定核的回归算法研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:tiaozhanwudeshou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
核方法因其良好的泛化性能在分类、回归、聚类等机器学习领域得到了广泛的应用。在回归问题中,引入核函数的支持向量回归是解决非线性回归问题的一种有效方法。受限于传统的统计学习理论,现有的大部分支持向量回归算法都要求引入满足Mercer定理的正定核函数。然而,在现实应用场景中,一方面核函数并不能保证核矩阵半正定,这导致现有的正定核算法不再适用;另一方面,不定核函数常常取得比正定核更好的学习性能。因此,将不定核引入支持向量回归,并进行有效地求解对回归问题具有十分重要的意义。不定核支持向量回归(Indefinite Kernel Support Vector Regression,IKSVR)将原始特征映射到再生核Kre?n空间,使得支持向量回归优化问题转变为一个非凸问题。现有的不定核方法存在着丢失数据中某些重要信息或存在对偶间隙等问题,从而影响模型的拟合性能和泛化性能。针对以上问题,本文提出了一种引入凸差规划的单不定核支持向量回归算法。进一步,考虑到多核学习能够有效提升核函数及其参数的选择效率,并在处理复杂数据时,能够在一定程度上改善支持向量回归算法的拟合性能。由此,本文在单核算法的基础之上提出了多不定核支持向量回归算法。本文的主要研究工作如下:1)提出了单不定核支持向量回归算法IKSVR。首先,对支持向量回归的原问题模型和对偶问题模型的优化过程进行分析,研究两者解之间的关系,确定对偶间隙的存在。其次,引入凸差规划,用凸差算法优化求解不定核支持向量回归原问题,提出IKSVR算法,并证明该算法能够收敛到局部最优点。最后通过实验验证了算法的有效性和收敛性。2)提出了多不定核支持向量回归算法MIKSVR。通过不同(多种)核函数的线性组合构建了多不定核支持向量回归模型,采用交替优化策略,结合IKSVR算法优化求解该多核模型,并对算法进行了收敛性分析。实验结果表明,MIKSVR算法收敛,且拟合性能较优于其他对比算法。
其他文献
全球人口迅速增长,陆地资源日益短缺,世界各国越来越重视海洋资源的开发和利用。声呐图像是我们探测海洋的重要工具,单幅声呐图像像幅较小,当目标较大时,声呐系统不能一次拍
水泥作为一种非常重要的建筑基材料,在人民的社会生产及生活中占有重要地位。中国是水泥第一大生产国,但是水泥质量却达不到世界的平均水平。因此,如何结合科学方法深入研究
社区发现(Community discovery)作为数据挖掘领域的重要研究方法,可以实现对网络中隐藏信息的挖掘。在产品推荐、广告投放和舆情监测等方面有着重要的研究价值。但目前大部分
近年来,随着我国经济高速发展,能源应用范围不断扩大,适当、合理分配社会资源成为国家积极倡导的策略。然而,在热电厂参与电网调峰工作中,存在许多大功率、大容量机组难以长
随着信息技术的蓬勃发展,网络信息安全的重要性、必要性与日俱增。数字签名作为信息安全领域的核心技术,在电子数据传输中提供身份认证、数据完整性保护以及不可否认性等服务
随着芯片规模逐渐增大,芯片设计越来越复杂,尤其是采用纳米级工艺技术之后,使得提升电路性能遇到了许多新的挑战。电路的性能离不开对数据传输和处理相关的时钟信号的时钟频
钢铁企业高能耗、高污染、高排放的生产特点,对企业的经济和环境保护都带来了十分严峻的负面影响。面对能源介质交互并存、能源消耗大、能源利用率低等长期困扰钢铁企业发展
本文合成了3,4-二氨基-呋咱(DAF)的4种含能化合物:1-(2,4-二硝基苯基)-(3,4)-二氨基呋咱(DPAF)、1-(2,4,6-三硝基苯基)-(3,4)-二氨基呋咱(TNAF)、1,1-二-(2,4,6-三硝基苯基)-
移动通信已经进入5G(Fifth Generation,5G)时代,而3D大规模MIMO(3D Massive Multiple-input Multiple-output)技术是5G移动通信的关键技术。3D大规模MIMO技术不仅包含传统MIM
目前,国内外对镁合金的表面处理已做了大量研究并取得了很大进展,但是仍存在结合力差、有污染、成本高等不足,离实际应用还有一段距离。因此,一种具有高性能、节能、环保、低