核方法是人工智能领域中卓有成效的统计学习技术,是改善学习器解决非线性问题能力的关键方法。但近年来,随着机器学习快速发展,经典核已难满足愈加苛刻的拟合和泛化性能需求,甚至无法有效利用。已有理论和实验研究表明其核心瓶颈在于局部性限制与计算效能低下。而新兴的谱核与深度核分别从映射性质与复合架构两方面,各自尝试突破局部性和计算效能的问题,对核方法的进一步发展提供启发性思考。然而,目前业界对谱核和深度核的研究与应用仍处于初级阶段。一方面,现有谱核大都仅能打破单调性限制,仍受制于平移不变函数的平稳性约束,无法揭示特征空间中更丰富的信息流形;另一方面,现有深度核大都结构封闭、难以优化、无法扩展,未能充分利用深度网络架构带来的指数级计算效能优势;此外,考虑到两者的共性与特性,从映射和结构协同构建深度谱核学习以期改善核的局部性限制与计算效能约束,具有重要研究意义。据此,本文就深度谱核学习,主要做了如下四方面工作:1)提出通用可扩展的深度谱核学习框架:针对现有谱核表征能力不足,以及深度核形式结构封闭的问题,提出深度谱核网络。首先,推导可打破局部性限制的非平稳非单调谱核映射,以近似表征任意有界连续半正定核函数,并将其自然嵌入有向无环图结构的深度网络中;接着,对深度谱核网络的特性进行了系统性的直观分析与实验验证。2)提出优化更高效的贝叶斯随机核映射网络:针对深度谱核网络存在的优化困境,提出可依概率逃逸局部极小值点的贝叶斯随机核映射网络以改进学习过程。首先,构建基于Copula的先验后验桥以建模不确定性,并设计基于随机变分推断的贝叶斯学习范式实现高效优化;其次,对先验后验桥的工作机制及贝叶斯学习范式的有效性展开了深入探讨及实验验证。3)提出可推广至超深架构的解空间软迁移方案:针对深度谱核网络解空间波折不平坦,难适用于更深更宽网络架构的瓶颈,提出解空间软迁移方案。首先,构建修正的Concrete门控以自动刻画计算元素的单调/非单调状态,并设计基于变分贝叶斯推断和Spike and Slab先验的损失函数以动态平衡经验风险与迁移力度;进一步,通过直观分析和系统实验验证了各组件对改善解空间问题的可行性,并成功将深度谱核网络扩展到极深的110层残差连接架构。4)提出刻画深度谱核学习表征能力的理论框架:除上述学习框架及扩展方案外,还提出一个理论框架来定量刻画深度谱核网络及其变体的表征性质。首先,推导了浅层非平稳非单调谱核映射的逼近阶,结论表明其能取得理论最优的表征能力,比同架构下分段线性神经网络映射要优O(mη/d2)倍,其中m是计算元素数目,d是输入特征维度,η是Lipschitz常数;其次,进一步将该浅层结果推广到深层有向无环图网络架构,结论表明深度架构可将指数级逼近误差降低到多项式级,进而显著改善计算效能,以较少计算元素紧凑刻画复杂高级概念。基于此,我们通过深入研究表示能力更优、优化求解容易、理论基础完备的深度谱核学习,以期机器学习的新兴研究、基础理论、工程应用提供可行方案及重要借鉴。