进化多目标稀疏重构和集成学习

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:A136C316
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能在将近六十多年的发展中已经取得了很大的进步。本博士论文主要探讨和研究人工智能的两个及其重要的研究领域:智能计算和分类问题。本博士论文研究了进化计算和分类器集成的几个关键性问题:1)针对约束优化问题中由于约束条件而造成的对全局最优解搜索困难的问题,提出了结合进化多目标的优点来解决约束优化问题;2)从理论角度分析和研究了可以用在大规模优化问题的分解算法;3)从多目标优化的角度分析和求解近几年在各个领域应用都非常广泛的稀疏重构问题;4)给出如何将压缩感知的优点应用到集成学习上并给出一种非常快速有效的分类器集成算法。总结起来,本博士论文的主要贡献如下:·提出了一种用于约束优化的新颖选择进化策略约束优化问题在理论和实践中都是一类很常见的问题。约束优化问题的解空间被约束条件分为可行解空间和不可行解空间。不可行解空间的存在使得解约束优化问题的算法很难在既保证效率、最优性又满足约束条件下快速收敛。这里,提出用多目标的技术来权衡在可行解和非可行解之间的搜索,并且提出一种自适应的选择策略来同时搜索对算法收敛有促进作用的可行解和不可行解。因为约束优化问题的最优解是一个可行的不可支配解,所以违反约束条件较小的不可支配解和目标函数值较小的可行解是对进化过程有益的两类解。提出的算法就是着重保存和搜索这两类解,并且也给出相关的理论证明。最后,也将提出的算法在22个标准函数测试库进行了算法性能的对比测试。实验结果也证实我们提出算法可以得到高效可行的结果。·提出了一种基于二次混合偏导数的分解算法在工程实践和科学研究中,研究者们通常会遇到大规模的优化问题。而这类问题的最大难点就是所谓的“维度灾难”。一种直观但高效可行的办法是“分而治之”的方法。协同进化计算方法使得进化计算解决问题的规模可以大幅度提高。这是由于协同进化计算首先将一个大规模的优化问题分为若干个小问题,然后再对每个小问题进行逐个求解,最后求得整个优化问题的最优解。这也使得分解方法成为决定协同进化计算性能的关键性因素。本章节中,主要从理论上研究大规模问题的变量之间的相关性,给出了相关的理论和推论。提出了一种基于二次混合偏导数的分解算法,并且在对差分分解算法进行深入研究的基础上,基于本章节的理论研究提出了一种随机差分分解算法,该分解算法可以解决差分算法无法解决的问题。最后的实验结果也证实了该算法的有效性。·提出了一种进化多目标用于稀疏重构问题的算法通过进化多目标的方法来研究在压缩感知中两个相互矛盾的代价函数(测量误差和稀疏正则项)。我们深入分析研究了稀疏重构问题,并通过实验数据证明此类问题的帕里托面上存在拐点区域,而且也进一步证实稀疏重构问题的最优解存在于拐点区域。此外,还提出一个基于问题的进化多目标局部搜索方法来处理压缩感知问题,进而提出了基于软阈值的多目标进化计算。该算法通过软阈值的方法来加强搜索这两个方向上的解:一类是加快朝帕里托面收敛速度的解;另一类是增加帕里托面解分布均匀性的解。通过对这两类解的着重搜索也促进了对拐点区域的确定,进而确保了对最优解的搜索。最后,通过和其他先进算法的对比实验证实了该算法的优点。也给出了该算法在实践应用中的实验结果,例如:从含有噪声污染的信号和图像中恢复出原始信号和图像。·提出了一种基于压缩感知的快速高效集成算法高效集成学习需要达到两个目标:尽量少的分类器个体数量和尽量高的分类精度。本博士论文中,介绍了这两个目标如何通过压缩感知的框架完美的实现。这里我们很巧妙地将分类器问题转化成为压缩感知问题,将集成学习的两个目标转化成为压缩感知中需要解决的两个问题,同时兼顾了分类器个体的稀疏性和集成总体的分类精度,进而提出了基于压缩感知框架的快速高效集成算法。本章中的另外一个贡献是提出一种新的集成学习性能评价指标-基于轮盘赌的kappa错误评价指标。该指标不仅仅考虑到各个分类器的权重,也有效地降低了最终在图像中显示出的分类器对数(但不影响读者对最终结果的判断)。此类方法可以更清楚直观地展示kappa图,尤其是在最后集成分类器较多的情况下更有效。实验部分我们在25个公开的测试数据上对比了四种不同稀疏重构算法用于集成学习的性能。最后的也给出提出算法和其他五个最好集成算法的对比实验结果。这些实验表明本文提出的算法不但可以得到更高的精度,并且在速度上也优越于其他的算法。·提出了一种联合稀蔬集成算法阐述了如何通过使用一个联合稀疏表示方法,把一组稀疏系数向量分配给一组弱分类器,最后组合成一个性能较强的分类器合集。该方法中,训练数据被分成多个子组,以产生子欠定系统。然后采用联合稀疏方法将这些子群体联合起来,进而分享它们关于个体分类器的信息,以获得一种改进的集成结果。由于提出的联合稀疏集成需要将训练样本分割成若干个子集,这也使得提出的算法非常适合通过并行化处理的方式来处理大规模的问题。本章的另外一个贡献就是提出的算法可以处理多类别的分类问题(相比之下,上一章提出的方法只能处理两类问题)。文中,给出了两种不同的策略来产生子欠定系统,在两种对训练数据不同的处理方法下得到的实验结果也表明了此方法的有效性。另外,文中也给出了联合稀疏集成算法和其他五种经典方法的对比实验,实验结果也说明了所提出的方法在大多数的数据集上优于经典的方法。
其他文献
目的:通过对南昌市某三甲综合医院心身医学科门诊就诊患者的季节分布特征及动态变动规律的分析研究,为合理地分配医疗资源防治精神疾病提供参考意见。方法:收集南昌市某大型
机器人焊接已经成为自动化焊接的主要标志,实现机器人焊接过程智能化是机器人焊接技术发展的必然趋势。本文从焊接传感技术、焊缝跟踪技术、焊接路径规划技术与焊缝成形质量
刑事诉讼当中的精神疾病司法鉴定,是一项涉及到精神病科学和法学的交叉性专门领域,这使其呈现出了复杂性的特点。实践过程中,精神病领域的司法鉴定的问题一向很容易受到舆论
选择不同年代育成的11个玉米自交系为代表,对株型和产量组成两类共9个性状进行了遗传改良趋势的研究。结果表明:各性状的遗传方差均达极显著水平(α=001)。影响玉米自交系耐肥、抗倒伏
<正>小面额人民币流通是一项涉及主体众多的系统性工程,其状态、效率和质量都与各参与主体的经济行为密切相关。从法律的角度看,商业银行对小面额人民币流通状况负有相应的责
<正>1临床资料患者,女,65岁,54 kg,于2013年10月5日因"长期咳嗽咳痰,加重气短1月"入院。入院诊断:慢性阻塞性肺部疾病急性加重。既往有甲状腺功能低下[长期服用左甲状腺素钠
简要介绍了交通仿真软件VISSIM仿真系统的基本信息,并对所应用到的模块进行了简单的介绍。为了验证VISSIM仿真平台模拟真实道路交通状况的有效性,在VISSIM仿真系统中,搭建了
目的:建立通络滴丸的质量控制方法。方法:采用薄层色谱法(TLC)鉴别成方制剂中石斛、金银花、牛膝,以高效液相色谱(HPLC)法测定毛兰素和绿原酸的含量。结果:TLC法可明显鉴别石
本文采用文献资料法、问卷调查法、实验测试法对湖南永州贫困地区大学BMI现状进行调查,结果发现大学生体型偏瘦,男生22.1%、女生22.5%营养不良、有近20%学生体型超重和肥胖;B
<正> 无论是书法专家还是达到一定程度的业余爱好者都知道冯铨这个人,因为他编纂并镌刻的《快雪堂法书》是明清之际约二百多部书法丛帖中的上上之作,冯铨本人的小楷功力也非