论文部分内容阅读
距离度量学习(度量学习),是最常用的机器学习算法之一,它广泛应用于对象识别,人脸验证和图像检索等问题。常用的度量学习算法通常是学习一个映射函数将数据投影到一个新的度量空间,使其具有某些希望的性质,如:希望属于同类或语义相关性较强的图像在新的度量空间中距离更接近,而不同类及语义相关性较弱的图像之间相互远离。尽管度量学习在大量应用问题上取得了成功,但是现有工作大多基于“数据标号干净”这一假设展开。然而在现实场景特别是使用互联网获取数据时,会遇到很多标注错误的数据。当数据中包含一定量标号噪声时,度量学习通常会受到严重影响:首先是训练难度增加,优化过程需要更多步迭代甚至难以收敛。其次,它会误导训练过程,使得非同类样本被拉近,而同类样本被拉远,最终导致模型精度严重下降。本文工作聚焦于设计鲁棒于标号噪声的度量学习,以解决现实的应用问题;具体地,本文的主要贡献和创新点总结如下:(1)针对标号带噪数据提出了一种有效的数据预处理方法,包括一种无监督的特征提取网络C-SVDDNet和一种基于神经网络的标号去噪算法LDAE。(2)提出了一种基于隐变量的鲁棒于标号噪声的度量学习,在建模中将带噪标号当作观测变量,而将数据的真实标号当作隐变量;同时提出了一种基于EM算法的参数估计方法,将估计隐变量与估计模型参数交替进行。在真实标号已知时模型参数与观测标号条件独立,这样能够有效地降低标号噪声对度量学习的影响。(3)提出了一种新的基于变分贝叶斯的鲁棒度量学习—贝叶斯NCA,它是传统的NCA模型在贝叶斯框架下的扩展。本方法在建模中使用图结构的似然函数,这比以往的基于样本对约束的度量学习能够更好的利用数据的结构信息;同时为了提高优化效率,本方法中还提出了一种定曲率的变分下界,能够大大降低训练复杂度。(4)提出了贝叶斯大间隔度量学习—贝叶斯LMNN,它是传统LMNN模型在贝叶斯框架下的扩展,同时在优化中使用了随机变分法进行参数估计。更重要的是,我们能够从理论上证明此方法对于标号噪声的鲁棒性、泛化性误差和样本复杂度。与标准LMNN模型相比,本方法在理论上能够较小的受到标号噪声的影响同时具有更小的泛化性误差。