支持向量机优化及在语音文档检索中应用

来源 :中国科学院自动化研究所 | 被引量 : 0次 | 上传用户:tintin123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
统计机器学习理论是20世纪90年代逐渐发展成熟的一门不同于传统统计学的理论,它主要是针对有限样本情况下研究统计学习规律的理论,是传统统计学针对实际问题的重要发展和完善。它的建立是统计推断领域内的一个里程碑,使得统计机器学习成为了一门严谨理论基础的科学,也为机器学习算法的设计提供了坚实的理论基础和规范。支持向量机是建立在统计学习理论的基础上的第一个学习算法,目前主要应用于求解分类问题、回归问题和0ne-Class问题。支持向量机最终可以归结为求解凸二次优化问题,从最优化理论的研究层次来看,无论是二次凸优化问题解的存在性理论还是求解算法,都是已经被研究和解决的比较彻底。在理论研究中,重要的数学定理有Karush-Kuhn—Tucker(KKT)条件和Lagrange鞍点定理。在众多的应用领域,如手写邮政编码的识别和生物特征识别,支持向量机算法分类的准确性得到了很好的验证。   然而在实际应用中,在训练支持向量机的时候还是会遇到两个比较难以处理的问题:大规模数据训练问题和模型参数选取问题。在大规模数据训练方面,目前有两种主流算法:几何算法和分解算法,在实际应用中,以分解算法为主。虽然成熟的支持向量机求解软件包已经对于具体的支持向量机求解算法有了深入的研究,并且在分解算法中提出了样本集收缩和核矩阵缓存两大必不可少的策略,但是样本集收缩和核矩阵缓存这两大策略明显没有深刻的利用支持向量机这一问题的特殊性。在模型参数选取方面,常常遇到这样一个问题:由于很多性能优越的算法最终可以转化为求解一个等价的优化问题(如支持向量机、神经网络),但是这些优化问题中却存在了一些需要预先给定的超越参数(如支持向量机中的惩罚系数,神经网络中的隐层数与各隐层节点数),其最优性能是在某一个特定的超越参数下面才能训练得到,然而这个最优性能所对应的超越参数却是不能够很容易的通过先验知识所获得。通用的方法就是使用交叉验证和统计评价指标的方法来选取较优的超越参数,这种方法往往就是预先使用一组备选参数,重复的求解同一个优化问题,显然这种做法相当的浪费资源,还会出现如果最优的参数并不在备选参数中,这种方法相当于是劳而无获。目前也存在了一些比较简单的方法来获取最优的超越参数,比如LIBSV M算法包就使用了网格搜索的策略来重复求解优化问题直至得到最优的超越参数,但是这种网格搜索的策略会遇到落入局部最优的陷阱。因此对于大规模数据训练和参数选取这两方面的理论研究有着非常重要的研究价值。   与此同时,互联网技术在中国经历了十数年的飞速发展,已经渗入了社会生产的各行各业,成为人们日常生活中不可或缺的东西。尤其是近几年来,中国广播电视网络、通信网络和互联网飞速发展,信息基础设施不断完善,用户基数急剧增加,内容产业在近几年取得了巨大的发展。在海量的多媒体网络数据中,音频数据无论在数量还是包含的信息内容上,都占有极其重要的分量,研究发展基于内容的音频内容检索对于经济、社会和国家安全具有极其重要的应用价值。因此对于使用优化算法具体应用到实际的语音文档检索领域中也是非常有应用价值的。   本论文从支持向量机求解算法基础出发,着重分析了目前主流的分解算法和几何算法,随后就对分解算法中的核矩阵缓存技术提出了改进;然后就参数选取问题进行了深入分析,结合目前的解路径算法思想,提出了0ne-Class支持向量机解路径算法;最终将解路径支持向量机求解算法具体的放入中文语音文档检索领域进行实际应用。总体来说,在本文中,主要的工作和贡献有:   1.总结目前的支持向量机求解算法,提出了更加高效的核矩阵缓存技术,提高了目前常用支持向量机求解软件包的求解效率。   2.根据已有的解路径算法思想,提出了针对0ne-Class支持向量机的解路径算法。   3.使用解路径算法求解排序支持向量机问题,实际应用到中文语音文档检索,为中文语音文档检索做出前期铺垫性工作。   总的说来,本文在支持向量机求解算法优化及其在语音文档检索中的应用等方面做了一些有益的探索。整篇文章的工作既需要在理论方面深入研究而取得成果,也需要在实际应用中培养得到良好的工程经验。
其他文献
本文系统地研究了汉语语音识别系统在嵌入式设备语音交互应用中的三个关键问题,即如何降低语音识别系统的计算和存储资源消耗、提高语音识别系统的鲁棒性、以及处理中国人说英
四足机器人运动灵活、环境适应性强,但在复杂环境中运动时,其控制难度大,需要感知自身状态及环境信息,以实现基于多传感信息融合的行走控制。本文设计了结构紧凑、接口灵活的四足
数字伺服装置的出现是数控技术发展史上一个重要的里程碑。与使用模拟伺服装置相比,采用新型的数字伺服装置能获得较高的加工精度和加工速度,而且控制硬件简单,系统的复杂度
双臂巡线机器人是为实现输电线路自动巡检功能而设计的机电一体化设备,其目的是为了提高巡检质量和效率,减少巡检死角,改善工人劳动强度。对保证输电系统的安全可靠运行具有重要
SF6气体以其良好的绝缘、灭弧性能,被广泛的应用在高压及超高压领域,它几乎成为断路器和全封闭式组合电器(GIS)的唯一绝缘、灭弧介质。但在实际应用中,由于电弧、电晕、火花放电
智能实时信息处理平台的出现是流程工业信息化建设的结果,它集成了管理控制一体化中制造执行系统的主要功能,成为连接现场过程控制系统和企业管理信息系统之间的桥梁,在企业
随着人类基因组测序的完成和后基因组时代的到来,分子影像学,特别是小动物分子影像学,正在成为多学科交叉领域的研究热点。其中光学分子影像由于其具有的高灵敏度,较低的价格及易
城市是人类活动的中心,快速及时地获取城市中的变化信息对于城市地理信息数据更新、城市管理与执法、紧急事件处理、灾害救援等工作具有重要意义。高空间分辨率遥感图像的商业
学位
随着世界经济的持续发展,陆地资源的日趋枯竭,越来越多的国家将眼光投向海洋资源。海洋面积占地球面积超过百分之七十,资源相对丰富,是未来资源的主要来源,船舶和半潜式平台
目前语音识别技术在研究和应用领域取得了比较大的进展,但在大多数的使用环境下,都是以单一语种的语音识别为主。而在实际应用中,许多潜在的语音识别任务都需要有多语言的支持。