论文部分内容阅读
核方法及其理论是以双射函数和变换理论为基础,它的核心是研究希尔伯特空间上的一些半正定函数以及它的相关应用。基于核的机器学习方法不仅适用于以特征向量表示的模式,也适用于结构化数据的模式,前者对应的是向量核方法,后者对应的是图核方法。因此,模式识别核方法主要可以分为两类:向量核方法和图核方法,早期的研究主要集中于对向量核的研究,它不论在理论上,还是在应用上都得到了较成功的发展,也吸引了很多领域的学者对基于核方法的机器学习的理论与应用技术进行了应用、推广和发展。图核发展较迟,近几年才慢慢被人们逐渐熟知并加以应用和推广,尤其在数字图像的结构图建模、特征描述和匹配等研究领域,被越来越多的学者关注,图核因其能够描述图的结构特征,所以在结构模式识别领域具有独天独厚的优势。模式识别核方法具有坚实的理论基础,这使得核方法及其理论不仅在数学理论领域得到了非常重要的研究和发展,而且在模式识别、机器学习、数据挖掘等研究领域也得到了极为广泛的关注与应用。因此,进一步研究核方法的理论与应用具有非常重要的意义。论文的主要工作和创新点有:第一,提出了一种再生核希尔伯特空间上的多核学习方法。首先,通过狄拉克函数介绍了一类广义微分方程的基本解,并分析了这个基本解是H2-空间上的再生核。其次,基于这个H2-空间上的再生核设计了一种基于H2-空间上再生核的多核学习方法。由多核代替单核能增强支持向量机决策函数的可解释性,并且可以获得更优的分类性能。最后,用大量的实验验证了我们方法的有效性。第二,提出了一种多属性的具有再生性的卷积核方法。首先,通过狄拉克函数介绍了一类广义微分方程的解,并基于这个解设计了一个多属性卷积核函数。其次,验证了这个多属性函数满足Mercer核的条件,且这个多属性核函数具备三个属性:L1-范数,L2-范数和拉普拉斯核。再次,与传统的希尔伯特空间核方法相比,该卷积核方法在考虑多个属性的情况下,融合了每个属性的特点,有助于提高基于多属性核函数支持向量机的分类精度。最后,在实验数据集上验证了该方法拥有较好的分类能力。第三,提出了一种基于Weisfeiler-Lehman(WL)图核的三种混合图核方法。首先,给出WL图核的基本理论和相关知识,并介绍基于WL图序列,进一步介绍基于该序列的子树核、边核和最短路径核。其次,基于WL图核定义了三种混合图核,第一种为加权混合图核,它是参数混合图核,第二种为精度比混合图核,第三种为乘积混合图核,后两种图核属于无参数图核。最后,实验结果表明基于WL图核的组合图核在所选实验数据集上与相应的单个图核比较,组合图核可以获得较好的分类精度,因此,研究混合图核的理论与应用具有非常重要的实际意义。第四,提出了一种基于逼近的冯诺依曼熵的再生性图核方法。首先,给出无向图的一个信息熵逼近表达式,这个表达式是依赖于图的顶点的度的统计,然后通过这个逼近的冯诺依曼熵来度量结构图信息。其次,通过一个广义微分方程的基本解来给出H1-空间上的H1-核函数。最后,基于逼近的冯诺依曼信息熵与H1-核函数定义了一个逼近的冯诺依曼熵再生性图核,实验结果表明,与其他图核方法相比,我们方法的分类精度在所选的大多数数据集上能够超过所选的其他图核方法,并且计算时间较短。