相似性分类算法的误差分析

来源 :湖北大学 | 被引量 : 0次 | 上传用户:luyang123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
不论是在非监督学习中,还是在监督学习中,相似性学习的应用是十分广泛而且是很有效的。当学习器学习了一些已经给出相似性描述的样本对,学习器就能够通过分析样本对几何接近或者接近的亲密程度来对新的样本进行准确分类或预测。相似性学习的这种特点刚好解决了没有标记样本和样本种类较多两种情况下机器学习的难题,而且给出了可行的学习算法,因而在理论和实践上引起了极大的兴趣。   本文介绍了相似性分析的意义和常见应用;介绍了常见的相似性度量,如欧氏距离和马氏距离;利用Hilbert-Schmidt算子和外积算子等工具推导出了算子值大间隔分类器的推广误差的界。还从实际问题出发提出了多核余弦分类器,并给出了其推广误差的界。同时,本文还通过最小化目标函数给出了梯度下降法的算法过程;涉及到了多类问题中的相似性学习过程:为了拥有好的预测能力,利用偏差学习的EP模型得出了训练样本中任务数和每项任务中的样本数的下界。   论文结构如下:   第一章:介绍相似性学习的背景、意义、应用和常见的相似性度量。   第二章:主要给出了相似性学习的两种分类器的推广误差的界。介绍了相似性学习的三个假设,建立了相似性学习的基本框架。本章利用正的Hilbert-Schmidt算子来构造分类器,推导出了不依赖于Rademacher复杂度的推广误差的界。从几何直观的实例中提出了多核余弦相似性分类器,并推导出了它的推广误差的界。   第三章:给出了相似性学习的算法。利用得出的推广误差的界确定了目标函数,证明了目标函数的极小值点就是它的最小值点,从而提出了梯度下降法。给出了当损失函数为hinge损失函数时的具体算法。   第四章:介绍了多类问题中的相似性分析和偏差学习的EP模型。在偏差学习的EP模型中,得出了训练样本集中任务数和每个任务中样本数各至少为多少时,才能保证期望风险与经验风险以高概率接近,从而拥有好的推广性能。   第五章:是对本文工作的总结和展望。
其他文献
排序问题是组合优化问题的一类重要分支,这一问题最早起源于机器制造业,现在已普遍应用于运筹学,经济管理科学、系统控制和计算机科学等多个学科。在经典排序问题当中,一般假设工
本文对多响应问题的优化方法进行了研究。多响应优化问题难于解决的原因在于多响应问题不同于只有一个质量特征值的单响应问题,通常不存在一组特定的可控变量使得所有响应变量
在小学语文教学中,我们要着力培养学生的听、说、读、写能力,而提高这一能力更是我们每一位班主任的愿望.我曾经读过这样一句话:“学生学习语文的目标是,得到阅读和写作的知
新课标为小学教育指引了新的方向和目标,语文教育中的文化和道德教育被提到了新的高度,而藏语作为我国一种悠久的民族语言,有着深厚的文化气息和宗教精神,在小学藏语文教育中
自1986年以来, 小波分析已成为科学研究中的热点领域, 其应用涉及自然科学与工程技术的许多领域, 受到国内外广泛关注。目前小波分析已经成为研究和解决自然科学与工程计算中
脉冲微分方程对于在瞬时干扰下状态发生突变的演变过程提供了有力的自然描述.种群动力学和流行病学以及海洋湖泊学中有许多自然现象和人为干预因素的作用用脉冲来描述更为精
许多实际系统都会因设备内部部件的故障,维修,受到突发性环境扰动或子系统之间的关联发生改变等随机突变因素使得系统结构或者参数发生多样性变化,从而从一种模态跳变到另一
决策是人们生活和工作中普遍存在的一种活动,是各类管理过程的核心,也是执行各种管理过程的基础。从狭义上讲,决策就是抉择,即为解决当前或未来可能发生的问题,从若干行动方案中选
全局优化问题广泛见于农业预测、网络设计、金融经济、生产管理、选址问题、交通运输等诸多领域.它主要是建立数学规划模型来解决实际问题,而这些数学优化问题所涉及的函数绝
《英语新课程标准》建议英语教师公平对待学生,主张营造民主、平等、和谐的教学氛围.实践教学证明了,要建立和谐型师生关系,提高英语教学水平,教师应该信任,理解和尊重学生,