内嵌式堆栈组稀疏自动编码器特征融合集成算法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:xmyhehe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
获取高质量、判别能力强的特征是分类任务的关键问题之一,对模型的训练及分类性能至关重要。传统的特征学习主要包括特征选择和特征提取,都属于浅层学习。相较于传统算法,深度神经网络具有更好的非线性拟合能力以及特征提取能力。其中,堆栈自动编码器(Stacked Autoencoder,SAE)作为典型的深度学习算法之一,不仅具有特征自学习能力,能够通过多层非线性变换挖掘数据中的关键信息,还具有搭建过程简单,易于理解和实现等优点,因此被广泛应用于分类任务的特征学习阶段。尽管目前关于SAE的研究已取得了一定的进展,但进一步的改进研究仍具有挑战性。SAE网络的训练依赖于大样本量,因此在小样本下,网络易陷入过拟合,导致提取到的特征的表征能力有限。原始特征和深度特征从不同的角度表征样本,融合两种特征有望提高特征质量。然而现有的SAE网络在建模过程中并未考虑深度特征与原始特征的互补性,融合策略也有待优化,因此限制了特征融合效果。此外,现有自动编码器在特征学习过程中并未考虑样本空间信息。针对上述问题,本文拟研究内嵌式堆栈组稀疏自动编码器特征融合集成算法。将原始特征引入SAE的训练过程中,以提高深度特征与原始特征的互补性,从而提高特征的融合性能。此外,本文在自动编码器的改进和特征融合的基础上,进一步考虑样本空间的结构信息,研究基于样本聚类的内嵌式堆栈组稀疏自动编码器集成算法,实现样本-特征协同学习。本文的主要工作如下:(1)针对现有堆栈自动编码器在小样本下易过拟合导致学到的特征质量较差的问题,本文提出了内嵌式堆栈组稀疏自动编码器特征融合算法。首先,对SAE网络结构进行改进,在两个相邻的隐层间增加一个嵌入单元,将原始特征信息引入自动编码器网络的训练过程当中。其次,将改进得到的自动编码器网络学习到的深度特征与原始特征合并,并采用L1正则化进行特征选择得到最优混合特征子集。最后,对混合特征集进行随机采样,在各子空间下使用加权局部保留判别投影(weighted local preserving discriminant projection,w_LPPD)处理特征,训练基分类器并集成。该算法通过嵌入单元使原始特征参与到网络训练当中,提高了深度特征与原始特征的互补性,并通过有效的融合策略得到高质量特征,从而提高模型的分类准确率和稳定性以及泛化能力。(2)针对现有SAE在特征学习中未考虑样本空间结构信息的问题,本文提出了基于样本聚类的内嵌式堆栈组稀疏自动编码器集成算法。首先,采用迭代式均值聚类构造多级样本空间,以挖掘样本空间的结构信息。然后,在各级样本空间中以聚类生成的新样本训练内嵌式堆栈组稀疏自动编码器特征融合模型。最后,通过决策层融合集成各样本空间下的分类结果。该算法在编码器的特征学习过程中考虑了样本空间的结构信息,同时进行样本学习与特征学习,实现了样本-特征协同学习。实验结果表明,集成多级聚类空间能有效提升分类准确率。
其他文献
自建筑学和土木工程学出现专业分工以来,建筑设计通常表现出一种先建筑后结构的线性思维和单向流程恃征,工作模式则停留于“分工合作”而非相互融合的阶段,加之框架结构具有优越的功能适应性,导致除超高层和大跨建筑等有特殊结构需求的建筑的设计思维逐渐脱离结构这一空间形成的物质基础,造成建筑设计的惯性思考常常独立于结构体系之外,削弱了结构作为建筑承载体的功能性意义。设计过程中框架结构单向选用的惯性思维造成建筑师
在传统燃油车使用过程中对环境污染和石油能源依赖的大背景下,发展新能源汽车是汽车行业必然走向。近年来电动汽车发展飞速,这对作为动力源的锂电池的能量密度以及安全性能也提出着更高的要求,不仅高安全、高比能的固态电池成为下一代电池发展的重要方向,同时对电池包在运行过程中进行有效热管理、准确温度预测以及对均衡性的监测也格外重要。因此,研究不同材料体系的电池底层参数、搭建适用精度更高的单体/模组的温度预测模型
齿轮箱被广泛应用于机械传动中,可起到加减速、控制离合、分配动力等作用。齿轮箱的工作状态关系到整个机械设备的性能,由于齿轮箱的工作环境恶劣,经常以高负载、高转速的工况不间断的运行,对其进行故障诊断具有非常重要的意义。现如今的故障诊断研究大都是从三个方面对振动信号进行处理:一是利用传统的时频分析法和提取齿轮故障相关特征分析齿轮运行状态;二是从振动信号中根据专家经验人工提取特征并筛选,从而进行模式识别;
金属氧化物避雷器(MOA)是抑制电网过电压、保护其他设备免受过高电压侵袭的电气设备。MOA阀片具有非常优异的非线性特性,因此无内部串联间隙,但在工频电压作用下,MOA阀片上流过持续的泄漏电流,该电流的阻性分量导致MOA发热和损耗,同时也是其阀片受潮和劣化的反映。故监测MOA阻性电流对反映其绝缘状态十分重要。测量MOA阻性电流需要对电网电压和MOA全泄漏电流进行同步测量。目前电压信号通常通过电压互感
变桨轴承是风力发电机组的核心部件,其工作环境恶劣、受载复杂,在长期的交变载荷以及冲击载荷的作用下,将会发生裂纹扩展,进而导致整个变桨轴承断裂失效。因此,综合应用断裂力学与有限元分析技术,研究变桨轴承的裂纹产生位置以及裂纹扩展特性,对于变桨轴承的安全性评估、寿命预测及寿命提高具有重要的参考价值。论文主要研究内容和结论如下:(1)建立叶根-变桨轴承-轮毂-螺栓的非线性接触有限元模型,通过Link10单
设备安全直接关系到经济建设平稳运行、人民生命财产安全和社会稳定,本文针对工业设备大型化、种类多、数量大、参数高的状况带来质量及安全管理的复杂性难题,对传感器采集的工业设备监测数据进行分析,建立工业设备异常和健康状态智能检测模型,检测数据异常,诊断设备的健康度和异常概率,以保障工业设备的稳定安全运行。本文以工业设备时序数据为研究对象,针对传统的工业设备异常检测方法存在通用性较弱、精确度和数据利用率较
开发可循环利用的绿色能源是延缓对化石燃料能源依赖甚至取代传统能源的主要途径,风能、太阳能、潮汐能与氢能等绿色能源进入了人们的视野。简便和高效的电解水技术可将大量的风弃电,光弃电转化为能量密度高的氢能。为了促进电解水制氢技术的工业化,设计和制备高效低成本的碱性HER(hydrogen evolution reaction)催化剂十分重要。碱性条件下的HER反应,因为需要对额外的水分子进行分解以获得活
在物联网(Io T)时代,无处不在的传感器网络节点在为日常生活和工业生产带来便利的同时,也面临着巨大的能源供应挑战。电池作为传统能源供应的主要选择,存在明显的缺陷,如寿命有限,需要频繁更换或充电,体积和重量大,硬度高,物相容性差,环境污染等。因此,环境能量收集技术可能成为替代电池的最有吸引力的解决方案。在环境中存在的各种能源类型中,机械能可能是最有希望建立自供能系统的能源之一。近年来,科学家们致力
信息技术大变革时代,造价咨询人才不仅面临着知识更新的加速更迭和复杂多变的工作挑战,同时需要满足社会需求对不同阶段造价咨询人才的差异化能力要求。因此,培养适合各阶段造价工作的咨询人才成为当下最为迫切的愿景。知识是能力的本质,合理的知识路径是提高能力的潜在力量。挖掘造价人才的知识重要度,构建知识矩阵,制定针对性的学习路径,将最大化的帮助造价咨询人才塑造核心竞争力。本文从造价人才职业生涯阶段聚类的角度出
随着网络上的信息越来越多和现代社会生活节奏的加快,信息过载的问题也愈加明显,获取信息的效率也显得越来越重要。如何从浩如烟海的信息中发掘出用户的偏好和行为模式,准确的做出推荐就成了当下推荐系统亟需解决的问题。从以You Tube为首的视频平台到阿里巴巴为首的各类电商平台,根据用户的历史行为预测用户感兴趣的视频或商品,各种各样的推荐系统提高了用户的浏览体验。协同过滤是一种经典的推荐算法,它基于购买同样